Efter et mageskifte med kongen i 1580 blev Claus Skeel Endrupholms første ejer. Jørgen Krag overtog ejerskabet i 1609, og efter hans død i 1643 overtog hans enke, Anne Vind, herregården. Svenske besættelser af Jylland i 1600-tallet belastede stedets økonomi, og i 1661 lånte Anne Vind penge af søstersønnen, storgodsejeren Erik Krag. Som følge deraf overtog han i 1663 herregården, men da han ved sin død selv var forgældet, måtte hans enke afhænde alle godser. Endrupholm gik således til gårdens forpagter, bondefødte Niels Nielsen Endorph i 1686. Hans søns enke, Maren Ehrenfeld, giftede sig i 1742 med Christian Hansen Teilmann, hvis efterkommere ejede Endrupholm indtil 1833. I denne periode blev den nuværende hovedbygning opført, og det meste af bøndergodset solgt fra. Flere af 1800-tallets skiftende ejere fortsatte frasalget af jord, og i 1914 købte Ribe Amts Udstykningsforening herregården. Endrupholm har efterfølgende haft en række af ejere og har bl.a. fungeret som hotel og restaurant. Johan Hoffmann har været ejer siden 2001. I 2020 blev bygningerne givet til Esbjerg Kommune med det formål at skabe et kulturcenter for kunst og musik.
Den nuværende klassicistiske hovedbygning var færdigopført i 1805 med en kraftfuld hovedfløj i to etager, der med krumme mellembygninger forbindes med to lavere sidefløje.
