Vibygård ligger ved den nordlige udkant af stationsbyen Viby. Hovedbygningen i to etager indgår smukt som en del af kulturmiljøet, der strækker sig bag bygningen, mens der mod landevejen findes en samling ældre og nyere bygninger, herunder avlsgården, der blev nyopført efter en brand i 1936.
Vibygård tilhørte fra begyndelsen af 1300-tallet til midten af 1600-tallet den sjællandske adelsslægt Sparre. En prominent skikkelse i perioden var den indflydelsesrige Jens Thorbernsen Sparre, der blev udnævnt til rigskansler i 1443. En mere uheldig figur var Claus Emmiksen Sparre, der i 1620 pga. økonomiske vanskeligheder måtte afgive herregården efter 300 år i slægtens varetægt.
Frederik 4. ejede en overgang Vibygård, men byttede den i 1719 til Peder Benzon, der blandt meget andet sjællandsk gods også ejede Risbyholm. Fra midten af 1700-tallet satte bl.a. familierne Qvistgaard, Sandholt, Schmidt og Voss skiftevis præg på herregården i hver et par generationer.
Ejerskabet af hovedbygning og landbrug er i dag skilt ad. Familiecentret Vibygård, som tilbyder terapeutiske forløb, har til huse i en sidebygning til hovedfløjen. Avlsgård og jord blev i 2019 solgt til ejendomsinvestoren Jens Erik Udsen.
