Østerby Havn tog i 1600-tallet over efter den tilsandede bebyggelse ved den gamle Hals Kirke, som lå ca. 2 km vest for byen. I årene 1903-05 blev der anlagt en fiskerihavn vest for Jegens Odde, hvilket sammen med anlæggelsen af Vesterø Havn satte gang i erhvervsfiskeriet. Samtidig voksede en bebyggelse frem langs vejen til den nye havn, og Østerby Havn opstod med bl.a. lodseri, toldsted, redningsstation samt handels- og industrivirksomheder.
Mens fiskeriet var på tilbagegang i Vesterø Havn, forblev Østerby Havn en fiskeri- og industriby, og befolkningstallet lå i 1970’erne og 1980’erne på ca. 390 indbyggere. Fiskeriet var under pres, og antallet af indbyggere fortsatte med at falde efter år 2000.
