Østersøen har gennemgået en kompleks historie, som har været styret dels af landhævning og havets stigning, dels af en isdæmning ved Billingen- bjerget i Västergötland, Sverige. Da isen smeltede tilbage fra den sydlige del af Østersøen, opstod der en isdæmmet sø, Den Baltiske Issø. For ca. 12.800 år siden smeltede isen kortvarigt tilbage fra Billingen, og vandniveauet i issøen faldt pludselig omkring 20 m. Klimaet blev imidlertid koldere; Det Skandinaviske Isskjold voksede, og der blev atter dannet en isdæmning ved Billingen. Denne dæmning brast for sidste gang for 11.700 år siden, og vandspejlet faldt 25 m i løbet af få år.
Herefter fulgte en periode, hvor Østersøen stod i forbindelse med Verdenshavet via et stræde igennem Sverige. De store søer Vänern, Vättern og Mälaren dannede en del af dette stræde. Store mængder smeltevand strømmede ud i Østersøen fra Det Skandinaviske Isskjold, og vandet i strædet var brakvand, mens vandet længere sydpå var fersk. Dette stadie kaldes Yoldiahavet (Ishavet) efter en lille arktisk musling, der i dag hedder Portlandia arctica. På grund af landhævning i Sverige lukkede forbindelsen via de store søer allerede efter ca. 1.000 år, og Østersøen blev atter til en sø, Ancylussøen, opkaldt efter en lille hueformet snegl (Ancylus fluviatilis), der lever i floder eller i brændingszonen i store søer.
Efterhånden som havniveauet i verdenshavene steg, og de danske stræder blev oversvømmet, begyndte havet atter at trænge ind i Østersøen, først via Storebælt og senere via Øresund og Lillebælt. For omkring 7.000 år siden havde Østersøen nogenlunde den samme saltholdighed som i dag, og for 6.000 år siden var saltholdigheden noget højere. Østersøen havde i begyndelsen en større udstrækning end i dag, men landhævningen har betydet, at Østersøen er skrumpet i størrelse.
