Højer har en befolkning på 1.176 og et areal på 1,0 km2. Byen ligger på en lille geestknold ved det nordvestlige hjørne af Tøndermarsken nær Vidå, kort før denne munder ud i Vadehavet via Højer Sluse og Vidå Sluse. Højer er krumtappen for flere diger, der tilsammen beskytter Tøndermarsken mod oversvømmelser fra Vadehavet. Byen ligger 11 km fra Tønder, 46 km fra Aabenraa og 41 km fra Ribe. Indtil omkring år 1900 var byen mod nord afgrænset ved Nørregade, mod øst af Østerende, mod syd, ud mod marsken ved Kovej og Søndergade frem til Margrethevej. Enkelte forretninger findes i kvarteret omkring Skolegade; hvor denne fortsætter i Ballumvej, findes byens eneste supermarked.