I 1559 flyttede de tilbageværende 11 munke til klosteret i Sorø, og nedbrydningen af det mægtige kloster gik i gang. Man startede med kirken, hvor inventaret i 1560 blev givet videre til Skt. Olai Kirke i Helsingør. I 1585 beskriver den 12-årige Christian IV, hvordan der kun er få rester tilbage af den store kirke i Esrum. De mange tusind munkesten blev brudt ned og genbrugt til andre større byggeprojekter, bl.a. ved Frederik II’s ombygning af Kronborg.
De to økonomibygninger blev skånet, og stedet blev indrettet til stutteri og kongelig jagtgård. Den fremspringende udbygning midt på hovedfløjen stammer sandsynligvis fra denne tid, hvilket kan aflæses i en indmuret sandstensplade med Frederik II’s kronede monogram samt årstallet 1569. Udbygningens formål var bl.a. at skabe et bedre og mere tidssvarende trappeforløb i bygningen, og spindeltrappeløbet er bevaret fra den tid. Der blev desuden plads til et par små, sekundære rum i udbygningen. De bevarede kalkmalerier i rummet ved siden af Abbedsalen stammer fra begyndelsen af 1600-tallet. Tidligere fandtes også bevarede kalkmalerier med jagtmotiver fra denne tid, men disse blev ødelagt under 2. Verdenskrig.
Det er uvist, om hele udbygningen er opført på én gang, men den er med sikkerhed blevet ombygget eller repareret ad flere omgange. Et bevis herpå er den indmurede sandstensplade over hoveddøren med Christian 5’s monogram, årstallet 1697 og teksten ”reparer”. Pladens placering over døren indikerer, at denne ombygning indebar etableringen af en ny hovedindgang og sandsynligvis også det barokke trappeløb i forbindelse hermed.
På Resens stik fra 1677 kan man se den nuværende østfløjs forgænger: en stor fløj på to etager og med kraftige gavlkamme. Det er uvist, om denne originale fløj stammer helt tilbage fra klostertiden, eller om den er bygget til i forbindelse med stedets anvendelse til jagtgård, men den har umiddelbart ikke et middelalderligt udtryk. På tegningen ser man tydeligt de nedbrudte rester af den gamle klostermur, og Møllegården samt åens løb over grunden er også tydeligt indtegnet.
I 1718 blev svenske krigsfanger sat til at nedrive de sidste rester af klostermuren, og i den forbindelse berettes det, at søen mod nord blev fyldt op med ”gamle munkeben” fra klosterets tidligere kirkegård lige ved. Samtidig med dette arbejde flyttede Frederik IV stutteriets hovedsæde til Østrup, og Esrum blev i stedet udpeget til rytterdistrikt og garnison for tre kompagnier dragoner.
I 1732 blev der i hovedfløjen indrettet en bolig til regimentsskriveren (en embedsmand tilknyttet rytteriet), og det er fra denne tid, at store dele af det bevarede barokinteriør stammer. Bygningerne blev, på et uvist tidspunkt i løbet af baroktiden, hvidpudset med trukne profiler om vinduerne.
Det er uvist, præcist hvornår i 1700-tallet at vestfløjen i bindingsværk kom til. Den har et tydeligt staldpræg og er sandsynligvis knyttet enten til driften af stutterivirksomheden eller til funktionen som rytteri.
I 1796 fik bygningerne funktion som amtsstue, hvorfra der opkrævedes skatter og førtes tilsyn med fattigvæsnet.