Skagen var i 1800-tallet delt i Østerby, Kappelborg og Vesterby, hvor Østerby i første omgang førte an i byudviklingen med adskillige købmandsgårde og gæstgiverier. Vesterby var stærkt plaget af sandflugt, men det hjalp med anlæggelsen af Skagen Gamle Plantage (den nuværende Byfogedskoven) lige nord for byen i ca. 1815. Den oprindelige bebyggelse lå i et åbent klitlandskab med husene i retningen øst-vest, i læ for vestenvinden og uden egentlige haver, men omgivet af plankeværker.
Arkitekten Ulrik Plesner besøgte Skagen i 1891, hvilket fik stor betydning for byen. Efter en heldig tilbygning til Brøndums Hotel (1892, udvidet 1897 og 1909) udførte han mange opgaver præget af den lokale byggeskik i området: Havnemesterboligen (1905), posthuset (1909), udvidelsen af Skagen Kirke (1909-10) samt Klitgården (1914), der blev bygget som sommerbolig. Hertil kom ombygninger af jernbanestationen (1914 og 1924), sygehuset (1916 og 1923) og Skagens Museum (1928) foruden en mængde sommerboliger for det bedre borgerskab. Til kunstnerboligerne Anchers Hus og Krøyers Hus udførte Plesner istandsættelser og udvidelser.
I forbindelse med at byen omsider fik en havn (1904-07), fik Ulrik Plesners ven Thorvald Bindesbøll til opgave at tegne de karakteristiske fiskepakhuse. På havnen blev der også bygget et nyt toldkammer (1907-08), tegnet af kongelig bygningsinspektør Hack Kampmann. Den seneste havneudvidelse i 2008 har afstedkommet flere markante nybyggerier. Det gælder det opsigtsvækkende fabriksanlæg for Elektromarine A/S, opført 2008-09 af arkitekten Jörg Kerchlango, og naboen, Skagen Skipperskole, Kuttervej 13, tegnet af AART architects og opført 2010-11.
