Ærø bestod oprindelig af to øer: hovedøen med Ærøskøbing mod vest og en mindre ø med Marstal mod øst. Da Gråsten Nor i 1856 blev inddæmmet og siden tørlagt, blev øen i øst forbundet med det øvrige Ærø.
Fra Dunkær i sydøst strækker et 10 km langt højdedrag sig næsten ubrudt til Søby i nordvest, hvorefter det snævrer ind og til sidst ender i Skjoldnæs mod nord. Bakkeryggen, der når højder over 50 m, kulminerer nord for Bregninge i kommunens højeste punkt, Synneshøj, 67 m.o.h. På forløbet langs Ærø flankeres bakkeryggen af aflange bakker, der hæver og sænker sig i lange, jævne kurver. Ved Gråsten Nor ophører det storladne bakkeland brat og erstattes længst mod øst af den 30 m høje morænebakke, som Marstal ligger på.
Ærø kantes af en fliget kyst ud mod Det Sydfynske Øhav i nordøst og en udlignet kyst ud mod hhv. Marstal Bugt i syd og Lillebælt i sydvest, hvor bølgerne flere steder har dannet stejle klinter som Voderup Klint, der med trappeformede skredterrasser strækker sig ind i det høje bakkeland.
