À Hong-Kong, en 1962, deux couples emménagent le même jour dans une petite pension. Monsieur Chow et sa voisine de palier Madame Chan découvrent bientôt que leurs conjoints respectifs entretiennent une liaison. Choqués par cette découverte, les époux trompés se rapprochent l'un de l'autre et essayent de comprendre...