Herregården Gram ligger majestætisk på et voldsted i Slotssøen ved Gram Å i den nordlige udkant af byen Gram.
Gram var det eneste adelsgods i kommunen, der overlevede kongernes systematiske opkøb af alt adelsgods i slutningen af 1500-tallet. Gram optræder i Kong Valdemars Jordebog fra 1231, idet kongen ejede 10 mark guld her. I den efterfølgende tid skiftede herredømmet over Gram mellem kongen og hertugen, men efter kong Valdemar Atterdags død i 1375 gled det over til de holstenske grever og er forblevet på private hænder frem til i dag.
Det middelalderlige Gram var placeret på Slotssøen, en delvis kunstigt anlagt ø i Gram, hvor det nuværende Gram Slot ligger. Tidligere mente man, at borgen havde ligget på det faste land nord for Gram Å. En stor arkæologisk udgravning i 2014 i forbindelse med anlæggelse af en fisketrappe uden om slottet og slotssøen viste imidlertid, at dæmningen fra det faste land ud til øen allerede blev anlagt i 1345. Borgen må derfor fra første færd have været placeret på øen.
I middelalderen var Gram på skift ejet af både kronen, sønderjyske hertuger, holstenske grever og en række adelsslægter. I 1467 blev Ditlev Reventlow ejer, og hans efterkommere besad Gram i næsten 100 år. I denne periode, omkring år 1500, blev hovedbygningens smalle østfløj opført af Joachim Reventlow.
I 1664 overtog Hans Schack, der også ejede Schackenborg, Gram. Foruden at fordoble godsets størrelse opførte han omkring 1670 sydfløjen i to etager over en høj kælder. Den er i dag bygningens hovedfløj.
Gram fik imidlertid sit nuværende udtryk under godssamleren Anna Sophie Schack, der som enke drev gården fra 1719. Hun skal i 1750’erne have erstattet en ældre vestfløj med den nuværende, der blev opført i samme højde som sydfløjen, der ligeledes blev moderniseret i barokstil i blank mur med liljeformede murankre. Anlægget med sø og park er beskyttet af både bygnings- og naturfredning.
Anna Sophie Schack var en markant ejer, og hun lå flere gange i åben strid med fæstebønder om omfanget af afgifter og hoveri. Hun udpegede også selv sin arving, Frederik Christian Schack, der ifølge hendes testamente fra 1760 var pålagt at oprette et stamhus af de arvede godser Giesegård, Spanager, Juellund og Ottestrup samt de grevelige Schackske fideikommisgodser Gram og Nybølgård. Det skete dog først i 1776. Det betød, at Gram herefter gik udelt i arv.
I 1919 overgik Gram til fri ejendom efter tysk ret. Var det sket året efter, havde man som øvrige danske majorater måttet afgive en tredjedel af jorden og betale 20 % i statsafgift. Så sent som i 2007 gik gården ud af familien Schacks eje, da Sanne og Svend Brodersen købte den. De driver i dag en alsidig virksomhed med økologisk landbrug, hotel og restauration samt afholder koncerter og konferencer m.m. En vinkelformet bygning på en banke nord for åbredden, 550 m nordvest for den nuværende herregård, fungerede tidligere som herskabsstald og vognport. Her ligger ligeledes avlsbygningerne fra 1800-tallet, som senest er blevet ombygget efter 2007.
