Den gamle bydel mod syd var centreret omkring kirken, som blev opført i 1908. På Vesterhavsgade blev en ny kirke tegnet af arkitektfirmaet Vilsbøll & Poulsen indviet i 2011. I den sydligste ende af den gamle bydel ligger »Rabarberkvarteret«, hvor små og ofte selvbyggede huse skød frem i 1940’erne og 1950’erne. Her ligger også det særprægede Sneglehuset. På Kirkevej 17 ligger den gamle strandfogedgård (ca. 1848), hvor stuehuset er ombygget i slutningen af 1800-tallet.
I forbindelse med anlæggelse af havnen i årene 1915‑18 voksede byen, og ved den gamle havn i den nordlige ende findes i dag bygninger fra den tid. Eksempelvis havnekontoret fra 1916 i Havnegade 16 og sømandshjemmet fra 1917 (i dag hotel og ombygget) i Havnegade 20, og i Bredgade 14 findes det tidligere lodshus med højt udkigstårn fra samme år. Ledefyret fra 1906 står på dækmolen i den gamle havn. Et nyt ledefyr blev opført i 1985. I området ved havnen findes også eksempler på erhvervsbebyggelse i tilknytning til havnen, fx den tidligere smedjebygning i Jernbanegade 15.
Et markant arkitektonisk og kulturhistorisk element i byen er Vandbygningsvæsenets rødmalede huse fra perioden 1930‑45. De var værksteder og materialeoplag til kystsikringsarbejdet, opført i træ. En tidligere værkstedsbygning huser i dag dele af Sea War Museum Jutland fra 2015. På Rav-Aages Vej står et bemærkelsesværdigt transformatortårn med kampestenssokkel og et mansardpyramidetag i røde tegl fra 1918.
