På Holckenhavn residerede Jakob Ulfeldt fra slutningen af 1500-tallet. Som kongelig lensmand og medlem af Rigsrådet var han blandt adelens magtfulde mænd. Men han blev afsat efter en fejlslagen diplomatisk rejse til Rusland, og i stedet rettede han i 1579 sin opmærksomhed mod opførelsen af det, der skulle blive Fyns største renæssanceanlæg. Ulfeldt opførte hovedbygningens nord- og østfløj samt et fritstående porthus med spærremur mod syd. Fløjene blev opført i to stokværk og var udstyret med vælske gavle samt kvadermønsterdekorationer i murværket. På den nærliggende herregård Juulskov blev en ny hovedbygning opført med samme murbehandling i 1590. I 1590’erne fik Holckenhavn tilføjet et højt klokketårn og en lille udbygning ved østfløjens sydøstlige ende. Ellen Marsvin købte herregården i 1616. Hun havde tætte relationer til kongemagten, idet hun var mor til Kirsten Munk, der var Christian 4.s anden hustru. Selv var Ellen Marsvin enke og koncentrerede sig om sine store godssamlinger. Hun opførte bygningens vest- og sydfløj omkring 1630. Vestfløjen blev opført i to stokværk og med vælske renæssancegavle som de ældre fløje, men uden de samme mønstre i murværket. Sydfløjen blev opført omkring Jakob Ulfeldts gamle porthus i ét stokværk og med et lille trappetårn mod gården.
Holckenhavn fremstår i dag som et storslået firfløjet anlæg og er et vidnesbyrd om adelens store magt og rigdom i 1500- og 1600-tallet. Navnet Holckenhavn fik herregården, efter at Eiler Holck blev ejer i 1672. Christina Hou Holck er den nuværende ejer, og foruden at drive landbrug og skovdrift tilbyder Holckenhavn i dag boligudlejning, kursuscenter samt hotel og restaurant.
