Visborggård optræder første gang i kildematerialet i 1343 og tilhørte da adelsslægten Munk. Under Grevens Fejde blev borgen på Visborg nedbrændt i 1534. Omkring 1540 opførtes en ny hovedbygning i bindingsværk på borgholmen. Jacob Enevoldsen Seefeld overtog godset i 1568 og erstattede 1575-77 bindingsværksanlægget med et stort trefløjet renæssancehus med ikke færre end syv tårne og en pragtportal på den sydvendte hovedfløj, der var formet som en triumfbue med portrætter af husets hjelmklædte bygherre og hans frue.
Efter en række ejerskifter overgik Visborggård i 1729 til Frederik von Arenstorff, og familien Arenstorff ejede godset i tre generationer indtil 1829. Sidefløjene blev nedrevet i 1748, og alle tårne, bortset fra hovedbygningens sydvendte flanketårne, forsvandt. Omkring 1750 blev der opført en ny østfløj i to etager, og i 1796 blev en lav vestfløj føjet til anlægget.
Efter Knud Danneskiold-Samsøes overtagelse i 1913 blev hele anlægget restaureret ved Gotfred Tvede, som også opførte en ny herskabsstald. Bygningsanlægget omgives af vandgrave på fire sider. En dæmning fører til hovedindgangen, og via en bro nås et symmetrisk parkanlæg, tidligere tydeligt opdelt i tolv regelmæssige kvarterer og afgrænset af lindealléer – en plan i slægt med renæssancens haver. I hovedaksens otte kvadrater er buksbomkantede parterrer og formklippede hække.
Haven er renoveret flere gange, omkring 1913 af Edv. Glæsel, i 1940’erne af I.P. Andersen og i 1959 af J. Arevad- Jacobsen, og udviser vigtige havekunstneriske elementer med sin symmetriske, terrasserede og enkle formgivning med faconklippede lindetræer, klippede buksbomhække og lindeallé mod øst. I havens fjerneste ende og i midteraksen ligger et fredet lysthus opført i 1800-tallet.
I 1938 overtog Statens Jordlovsudvalg ejendommen. Hovedbygningens tre fløje blev 1939-40 ombygget til plejehjem. Fra 2007 tilhørte bygningen Region Nordjylland, men i 2017 blev den solgt, og plejehjemmet flyttede til Hadsund.
