Der er kendskab til fem middelalderlige voldsteder på Samsø, og da øen var ejet af kronen gennem hele middelalderen, er borgenes historie tæt knyttet til rigets historie. En række arkæologiske undersøgelser i perioden 2008‑12 har klarlagt de enkelte anlægs opførelse.
Gl. Brattingsborg ved Tranebjerg blev anlagt i 1100-tallet.
På Hjortholm i Stavns Fjord findes et aldrig færdiggjort borganlæg.
Bisgård (bispens gård) fik sit navn i perioden 1373‑1407, hvor øen var bortpantet til Aarhus bispestol. Udgravninger har påvist en ældre borgbanke fra 1290’erne med et stenhus. Forborgen lå mod vest på en større banke, hvor der er fundet rester af økonomibygninger. Senere blev administrationen af øen varetaget fra Søllemarksgård, der på et tidspunkt var ladegård til Vesborg. I 1674 skiftede Søllemarksgård navn til Brattingsborg.
Ved Brattingsborg ligger det lille voldsted Blafferholm. Heller ikke denne borg blev dog færdigbygget.
Øens to herregårde, Bisgård og Brattingsborg, kan føre deres historie tilbage til middelalderen og har i dag samme ejer. Bisgårds bygninger er fra renæssancen, mens Brattingsborg blev nybygget i historicistisk stil i 1870’erne.
