Bernstorff Slot er en enkel, nyklassicistisk bygning med hvide mure og sort tegltag, der er synlig langvejsfra på en græsklædt banke i slottets store park. Bygningen er opført i årene 1759‑65, og den blev et sent eksempel på den franske rokokos »maisons de plaisance«, lystgårde, samtidig med at den blev den direkte årsag til, at denne bygningstype holdt sig i Danmark i endnu halvtreds år.
Slottets forgænger, en fasangård fra 1681, der sidenhen blev et søgt traktørsted, blev i 1734 skænket til den senere gehejmestatsminister Johan Ludvig Holstein og overgik i 1752 til udenrigsminister J.H.E. Bernstorff. Fra 1759 lod han den franskfødte arkitekt Nicolas-Henri Jardin bygge et nyt hovedhus nogle hundrede meter mod nordøst. Da dette arbejde kom til at gå hånd i hånd med udvidelsen af ejendommen til et egentligt gods, blev den nye bygning et forbilledligt eksempel på, hvordan en herregårdsejer både kunne bo på stedet og slippe for ladegårdens lyde og lugte.
Imod arkitektens, men efter bygherrens ønske blev den nye hovedbygning forsynet med de franske »maisons de plaisances« særtræk: en halvrund, fremspringende havestue. Den blev bygget ind på en måde, så den ikke forstyrrede bygningens enkle karakter og dens gennemtænkte indretning. Her var eksempelvis supplerende trapper lagt i husets gavle, så tjenerskabet kunne passere uforstyrret fra kælder til kvist, samtidig med at trapperne havde en isolerende virkning i forhold til beboelsesrummene i bygningens midte.
Efter bygherrens død i 1772 gik godset i arv til hans nevø, udenrigsminister A.P. Bernstorff. Under dennes børn blev hovedbygningen skilt fra de jorder, der skulle finansiere dens vedligehold, og i 1839 satte en senere ejer derfor nedbrydningen af det misligholdte hus på auktion. Men en række protester imod denne ødelæggelse af mindet om de to udmærkede mænd, J.H.E. Bernstorff og hans nevø, gjorde kronprins Christian (den senere Christian 8.) opmærksom på sagen. Han sikrede sig stedet og lod fra 1842 hofbygmester Jørgen Koch udvide Jardins bygning med en indskudt mezzaninetage.
Udvidelsen blev især relevant efter 1854, da Bernstorff Slot blev udpeget som sommerbolig for kronprins Christian (den senere Christian 9.). I årene 1866‑97 opførte Ferdinand Meldahl dog en række aflastningsbygninger rundtomkring i slotshaven. Slottet hørte i perioden 1939‑2009 under Civilforsvarets og dets afløser Beredskabsstyrelsens befalingsmandsskole, men er nu overgået til en funktion som kursus- og konferencecenter og hotel.
