Ifølge Kong Valdemars Jordebog fra 1231 var Anholt krongods i middelalderen. Øen blev i 1441 forlenet til storadelsmanden Otte Nielsen Rosenkrantz. Administrativt tilhørte øen Morup Sogn i Halland i Sverige indtil midt i 1500-tallet. Frederik 3. solgte i 1668 Anholt til fyrforvalter Peder Jensen Grove. Enken ægtede i 1674 Hans Rostgaard, hvis efterslægt, von der Maase, stadig ejer ca. 80 % af øen under Det von der Maase’ske Fideikommis.
Den oprindelige kirke på øen blev først opført mod slutningen af middelalderen, hvilket menes at hænge sammen med, at øen i størstedelen af middelalderen var særdeles tyndt befolket.
I 1500‑1600-tallet opstod Ørkenen på østsiden af øen, bl.a. som følge af voldsom hugst af fyrreskoven, og først omkring år 1900 blev plantagerne Wilhelminelyst (anlagt 1895), Nordøstplantagen (anlagt ca. år 1900) og Hermannsgave (anlagt 1908) beplantet og bidrog til at bremse sandflugten.
Jorden blev udskiftet i 1852, og i 1902 blev bønderne selvejere. Der var 16 halvgårde, men landbrugets betydning var begrænset, og det sidste landbrug ophørte i 1970.
Øens hovedindtægter stammede tidligere fra fiskeri, sælfangst og strandinger. Sælfangsten ophørte i begyndelsen af 1800-tallet. Fiskeriets betydning svandt i 1900-tallet, og i 1995 var der to erhvervsfiskere tilbage. Indtil havnen blev anlagt 1899‑1903, var indtægten fra vraggods væsentlig, og mange ældre huse er opført af strandingsgods. I begyndelsen af 1900-tallet blev Anholt turistmål og fik pensionater, hotel og sommerhuse. I 1960’erne kom sejlsportsturisterne, og i 1980 anlagde kommunen en campingplads nær havnen.
Anholt by ligger omkring en toft og hovedgade med øst-vest-vendte gårde. Øens sommerhuse ligger primært omkring havnen og byen. Havnen blev anlagt i nordvest frem for ved naturhavnen i Pakhusbugten, da staten ønskede en havn, som var vanskelig for krigsskibe at anløbe. Her opstod et nyt bymiljø med bl.a. fiskepakkeri, rederikontor, sømandshjem, handel og turistfaciliteter.
