Oprindelig var hovedparten af befolkningen i Vesterø Sogn bosiddende omkring Vesterø Kirke, der blev opført ca. 1250. I 1682 var der 18 gårde og 88 huse i sognet, og nordvest for kirken lå der en landingsplads for skibsforbindelse til Sæby. Vesterø Havn, som oprindelig hed Lundbæk, blev anlagt i 1872 omkring landingspladsen 3 km nordøst for kirken. Dette satte sammen med anlæggelsen af Østerby Havn i 1905 gang i erhvervsfiskeriet, og der blev etableret skibs- og færgeforbindelse fra Vesterø Havn til Frederikshavn. Ved hovedvejen og omkring havnen voksede en bebyggelse frem, og sognets befolkningsudvikling fandt sted i den nye havneby med skole, lodseri, toldsted og kirke samt handels- og industrivirksomheder.
Fiskeriets tilbagegang satte sit præg på Vesterø Havns indbyggertal, som faldt kraftigt fra ca. 1976 og frem, mens antallet af turister voksede.
