Herregården Hvedholm var hovedsæde i grevskabet Brahesminde, sammen med Stensgård, Østrupgård og Damsbo. Hvedholm var i slutningen af 1800-tallet ejet af den velbeslåede familie Bille-Brahe-Selby, der bl.a. var arvinger efter slægterne Bille og Brahe, der havde ejet Hvedholm siden midten af 1500-tallet.
Som mange andre herregårde i perioden blev Hvedholm 1878‑82 ombygget i den historicistiske stil, der lod sig inspirere af tidligere tiders stilarter. Anlæggets fjerde fløj blev nedrevet, så hovedbygningen åbnede sig mod syd, mens vestfløjen blev gjort dobbelt så bred. Det ældre murværk blev beklædt med sandsten i det nedre stokværk og glatte, røde mursten i det øvre, og det gamle hjørnetårn blev forhøjet og fik spir. Hvedholm forlod slægtens eje i 1928 og overgik til den danske stat, der indrettede et plejehjem under Sindssygehospitalet Middelfart. I 1996 købte Ann Vibeke og Gorm Lokdam Hvedholm og har siden drevet stedet som hotel.
