De ældste bosættelsesspor fra 1200-tallet er fundet ved Fyrbakken nordøst for bydelen Østerby. Engang i 1600-tallet rykkede bebyggelsen mod sydvest til Østerby og Kappelborg. Denne sydvestligt beliggende bydel, Vesterby, nævnes i skriftlige kilder i midten af 1400-tallet. I forbindelse med naturvidenskabelig datering af strandvoldslag på Svallerbakken i Vesterby blev der fundet og undersøgt to flyvesandsforseglede kulturlag fra renæssancen, der indeholdt omlejret keramik fra middelalderen. Indtil videre er dette de eneste middelalderfund inden for den nuværende bymæssige bebyggelse.
Bebyggelsen i middelalderen var spredt, men fra slutningen af 1300-tallet centreret om Sct. Laurentii Kirke. Takket være fiskerigdommen i Skagerrak og Kattegat kunne skagboerne ernære sig selv året rundt og samtidig drive udstrakt handel med tørret og saltet fisk.
Omkring Skagen Odde var der en stærk trafik af hanseatiske skibe, og lodsninger samt salg af strandingsgods gav et godt supplement til beboernes øvrige indtægter. Kong Erik af Pommern var ikke blind for Skagens strategiske placering eller den merkantile kraft i området, og han gav byen købstadsrettigheder.
Efter Reformationen begyndte det at gå skævt. Sildefiskeriet svigtede, og uvejr, stormfloder og sandflugt truede med at udslette fiskerlejet. Der var ganske vist forbud mod at ødelægge vegetationen, men der skulle bruges brændsel, også i det fyr, som Frederik 2. i 1560 beordrede opstillet på Grenen.
Danmarks første murede fyr blev bygget på Grenen og taget i brug i 1747. Byens misvækst kulminerede i 1700-tallet, da befolkningstallet i 1781 var faldet til 650. I 1795 måtte man pga. sandflugten lukke Sct. Laurentii Kirke og holde gudstjenesterne i byens kapeller, indtil den nye kirke, tegnet af C.F. Hansen, blev indviet i 1841. Under Englandskrigene florerede kapervæsenet omkring Skagen, og der blev anlagt et batteri på Nordstrand. Byfoged Ole Chr. Lund påbegyndte den tilplantning, som var helt nødvendig for at få styr på sandmasserne, men nye stormfloder truede i 1820’erne bebyggelsen ved Højen. Efterspørgslen på fisk begyndte langsomt at stige, og svenske fiskere blev hyppige gæster i Skagen. Strandingernes antal og værdien af lasterne blev øget til gavn for bjærgere, redningsfolk og strandingskommissionærer.
Fiskeriet dominerede fortsat i 1800-tallet, men andre leveveje med relation til hav og sejlads vandt indpas. Redningsvæsenet blev organiseret i 1852, og med det nye Grå Fyr yderst på Grenen blev sikkerheden til søs i 1858 forøget. Bebyggelsen ændrede karakter, idet stråtækte træhytter blev afløst af grundmurede huse med tegltag. En storstilet klitbeplantning banede vejen for anlæggelse af jernbanen til Frederikshavn i 1890.
Fiskerne frigjorde sig fra kystfiskeri, idet landdragningsvod og småjoller blev erstattet af snurrevod og motoriserede fiskerbåde. Skagen Havn blev indviet i 1907, og en værftsindustri blev skabt. Fra 1870’erne dannede nordiske kunstnere koloni i Skagen, og borgerskabet begyndte at feriere i fiskerbyen. Bydelen Kappelborg voksede frem, og fra 1907 til 1918 blev der bygget gasværk, isværk, elektricitetsværk, ny skolebygning og nyt sygehus. Endvidere skød hoteller og pensionater op overalt.
Havnen blev i 1900-tallet udvidet ad flere omgange. Der kom vejnavne samt husnumre, og landevejen til Ålbæk blev gjort fremkommelig. I midten af 1930’erne blev der etableret central vandforsyning og kloakering. Få år efter, under Besættelsen, blev de første boligblokke opført, og i samme periode byggede tyskerne hundredvis af bunkeranlæg på Grenen. Flydetrawlet revolutionerede fra 1948 fiskeriet, og fiskerne begyndte at tage på langfart. Filet- og fiskemelsindustrien krævede arbejdskraft, og kutterflåden nåede sit højdepunkt. Befolkningstallet eksploderede i 1950’erne, hvilket resulterede i stor mangel på boliger.
Nye strukturer i fiskeriet medførte en reduktion af kutterflåden fra ca. 300 større fiskerfartøjer i 1970 til ca. 60 i 2007. Fiskemels- og værftsindustrien blev konsolideret og udvidet, samtidig med at højteknologi kom til at præge forarbejdningen af fisk. Skagen var fra omkring år 2000 præget af lukninger: Skagen Sygehus lukkede i 2004, og Kappelborgskolen, byens ældste skole, året efter. Skagen Kystradiostation lukkede i 1993, og kasernen ved Flyvestation Skagen blev nedlagt i 2003. Store dele af den gamle bykerne blev solgt som fritidshuse, og nye boligkvarterer opstod i periferien af byen. Havnen blev udvidet mod vest og gav plads til nye industrier samt Skagen Skipperskole i 2011. Det faste indbyggertal faldt fra knap 12.000 i 1970 til 9.000 i 2007.
