I middelalderen og frem til 1660 var Samsø ejet af kronen. Brattingsborg hed da Søllemarksgård og blev sammen med Samsø overdraget til rigsdrost Joachim Gersdorff som kompensation for de tabte skånske godsbesiddelser efter nederlaget til Sverige i krigene 1657‑60.
I 1674 købte rigskansler Peder Schumacher Griffenfeld gården og gav den navnet Brattingsborg. Allerede i 1676 blev han dog dømt for forseelser mod kongen, og godset hjemfaldt igen til kronen, hvorefter Christian 5. skænkede Samsø til sin elskerinde Sophie Amalie Moth. Ved hendes død i 1719 arvede hendes og kongens barnebarn Christian Danneskiold-Samsøe gården. Kongen havde i 1677 oprettet grevskabet Samsøe med Brattingsborg som hovedsæde, og i de følgende århundreder gik grevskabet i arv i familien Danneskiold-Samsøe. Det var imidlertid først i 1870, at familien bosatte sig på Brattingsborg.
I 1921 blev grevskabet ophævet efter Lensafløsningsloven fra 1919. I forbindelse med den herskabelige etablering på Brattingsborg blev både hovedbygning og avlsgård moderniseret efter tidens historicistiske idealer. De tidligere bindingsværksbygninger blev således i årene 1870‑71 erstattet af den nuværende hovedbygning, inspireret af engelsk nygotik. Arkitekten var betonpioneren Knud Borring, der moderniserede avlsanlægget i det nye materiale. På samme tid blev også anlagt en seks hektar stor park i engelsk stil. Parken har havudsigt og store plæner med gamle træer og falder naturligt ind i landskabet. I parken er rester af det lille voldsted Blafferholm eller Barfredsholm, som danner en lille, firkantet ø over en smal, vandfyldt ringgrav. Her indledtes opførelsen af en lille borg i den kaotiske periode i 1320’erne, hvor adelsmanden Knud Porse var udnævnt til hertug af Samsø og Halland. Borgen blev dog ikke færdigbygget og der er aldrig fundet bygningsrester på voldstedet. I 1897 blev Brattingsborgs hovedbygning udvidet af Martin Borch.
Siden 1985 har Anders Danneskiold Lassen været ejer af Brattingsborg, der drives som land- og skovbrug med jagt- og boligudlejning.
