Øst for Dragsholm breder det flade landskab fra den inddæmmede Lammefjord sig, og alléer leder fra flere sider mod den monumentale trefløjede hovedbygning. Dragsholm fremstår, særligt fra gårdsiden, som et barokanlæg, men set fra haven bliver det tydeligt, at herregården hører til blandt Danmarks ældste verdslige bygninger og var et imponerende bygningsværk i middelalderen.
Dragsholm er i sin kerne en af landets største og ældste borge. Den menes anlagt af Roskilde bispesæde, i hvis eje den var i begyndelsen af 1200-tallet. Det ældste borganlæg blev bygget af tegl, hvoraf facaden af hovedbygningens palatium (salshus) er påvist i sydøst. Bygningen var i to etager, hvoraf overetagen har været én stor repræsentativ sal. Spor af salens meget store trekoblede vinduer, som ligner vinduerne i Roskilde Domkirkes koromgang, placerer den blandt Europas største sale.
I anden halvdel af 1400-tallet blev borgen ombygget. Ydermurene blev forstærket, der blev indrettet vægtergange, og et stort forsvarstårn med fire hængetårne på hjørnerne blev opført. Frem til Reformationen i 1536 hørte Dragsholm under bispestolen. Med kronens overtagelse af kirkegods blev Dragsholm kongeligt len, og hovedbygningen fungerede i en periode også som fængsel for fanger af højere stand. Mest berømt er fangen jarlen af Bothwell (James Hepburn Bothwell), som var den skotske dronning Maria Stuarts sidste mand.
Efter indførelsen af enevælden i 1660/61 gik Dragsholm til en borgerlig godsejer, Henrik Müller, som betaling fra den gældsramte konge. I 1694 kom herregården i adelsfamilien Adelers eje, og Frederik Christian Adeler stod bag den store ombygning efter barokkens idealer i ca. 1697. Slægten stod siden for oprettelsen af stamhuset i 1755, senere baroniet Adelersborg. Først i 1932 døde den sidste Adeler på Dragsholm.
I 1936 overtog familien Bøttger herregården, og efter Besættelsen og lige siden er der blevet drevet hotel og restaurant på stedet. Mads Bøttger har fra 2015 været direktør for Dragsholm Slot, der tilbyder ophold, gourmetrestaurant, arrangementer, museum m.m. Dragsholm Slotshave var oprindelig et barokanlæg, men er nu landskabelig park. I årene 2008-09 blev den renoveret af landskabsarkitekt Birgitte Fink, det gælder bl.a. voldgrave, terrasseanlæg og udhugninger.
