Højen – senere Gammel Skagen – var oprindelig et fiskerleje uden for købstaden Skagen, men da Skagen Havn blev indviet i 1907, flyttede mange af Højens indbyggere dertil, og de attraktive fiskerhuse blev opkøbt af feriegæster, der allerede var talrige i byen. Samtidig byggede flere borgerfamilier sommervillaer, ofte med fremtrædende placeringer på toppen af klitterne.
I begyndelsen af 1900-tallet skød flere små hoteller og pensionater op, og i 1980’erne blev en del af hotellerne omdannet til timesharelejligheder. Højen blev dermed i vid udstrækning en turistby, og der er ikke mange fastboende tilbage. Mange af de gamle huse er bevaret med deres originale udseende, bl.a. de gulkalkede facader og de røde tegltage med hvide detaljer.