'By the Sea' foregår i 70erne og handler om et smuldrende ægteskab. Den tidligere danser Vanessa og hendes mand, forfatteren Roland, rejser rundt i Frankrig, mens de krampagtigt forsøger at holde fast i de følelser, de engang nærede for hinanden. Afstanden vokser sig større og større, og da parret slår sig ned i en lille havneby, begynder de hver især at blive tiltrukket af andre mennesker