Selsøs tidligst kendte ejer var biskoppen i Roskilde i 1288, og efter Reformationen tilfaldt det kronen. Det var i Ulfeldtslægtens eje fra 1559 til 1624. Efter en række skiftende ejere overtog Berte Skeel stedet i 1682. Hendes arving var gift med statsmanden Christian Ludvig von Plessen, i hvis slægt godset siden har været. Hovedbygningen med portbygning og gårdsplads har dog fra 1995 været i den selvejende institution Den Plessenske Selsø Fonds eje.
Selsøs sidste beboer, Agathe Johanne Scheel-Plessen, døde i 1829, hvorefter hovedbygningen stod ubeboet, mens godset blev drevet af skiftende forpagtere. I den lange periode uden bosiddende ejere har riddersalen bl.a. været brugt til fasaneri og kornkammer, og der har været osteri i kælderen, ligesom bygningerne har været udsat for tyveri af værdifuldt interiør.
Jakob Ulfeldt opførte i årene 1571‑76 Selsø som en enkel, toetages bygning med trappetårn, spir og svungne gavle. Mursten kom fra det nedrevne Sankt Clara Kloster i Roskilde. Gårdspladsen var omkranset af mur og voldgrav med en brønd i midten. Der har været skydeskår i muren. To tilmurede åbninger i husets østlige mur indikerer, at man engang kunne sejle helt ind til Selsø. Plessen moderniserede bygningen 1728‑34. Trappetårnet samt de svungne renæssancegavle og sandstensgesimserne blev fjernet, og der blev anlagt en barokhave.
Bygningen rummer enestående velbevarede interiører med hofmaler Hendrik Krocks udsmykning af riddersalen, marmoreret panelværk og loftsstukkatur. I begyndelsen af 1800-tallet blev en del rum indrettet i den empirestil, der var moderne. Kælderen står, som da den blev opført i 1500-tallet, og køkkenet er et af landets ældst bevarede. Til hovedbygningen knyttede sig en kraftfuld portbygning, der i 1734 blev delvis nedrevet og nyopført i rokokostil med mansardtag. I 1972 forpagtede journalistægteparret Bernhard og Grete Linder hovedbygningen og iværksatte en restaurering af herregården. I 1973 åbnede Selsø som museum med fokus på herregårdshistorie fra 1700- og 1800-tallet. Museet er også ramme om kulturhistoriske udstillinger, arrangementer og klassiske koncerter.
Selsø ligger smukt øst for Selsø Sø, omgivet af en barokhave og med en voldgrav mod vest. Den enlængede hovedbygning samt portbygningen er opført 1571‑76, men ombygget i tidens barokstil i årene 1728‑34. Museumssæsonen på Selsø varer fra maj til oktober og åbnes altid med en lysfest.
