Løvenholms østfløj blev opført efter 1576 og følgende år i to etager, der er adskilt af en rundbuefrise. Gavlen har blændinger, og der er et rundt hjørnetårn, ligesom der oprindelig var et trappetårn på gårdsiden. 1642‑43 opførtes en sydfløj, som tilpasser sig østfløjen og gentager hjørnetårnet.
I 1929 købte grosserer Valdemar Uttental godset, renoverede bygningen, udvidede jordtilliggendet og forbedrede driften. Han oprettede i 1947 Løvenholm Fonden, der stadig driver godset. I parken lod han opføre et ottekantet mausoleum til sig selv, og han sikrede desuden sit eftermæle ved at oprette herregårdsmuseet på Gammel Estrup.