Dans une petite ville de province, deux amies Karen Wright (Audrey Hepburn) et Martha Dobie (Shirley MacLaine) dirigent une institution pour jeunes filles, aidées par Lily (Miriam Hopkins) la tante de Martha, une ancienne actrice excentrique. Fiancée au médecin, Joe Cardin (James Garner) Karen a du mal à s’engager et à laisser à Martha la direction de l’école. Mary (Karen Balkin) une élève insolente et menteuse, alors qu’elle a été punie, lance la rumeur que les deux professeurs ont une relation « contre-nature ». Elle commence par le raconter à sa grand-mère (Fay Bainter)…