Wedellsborg ligger på halvøen Iversnæs i en stor landskabelig park, hvorigennem vejen snor sig fra det gamle porthus til hovedbygningen. En halv kilometer mod sydøst ligger avlsgården fra omkring 1880. Hovedbygningen, hvis fløje danner en karakteristisk Z-form, repræsenterer en lang bygningsudvikling fra det middelalderlige stenhus i midterfløjen, over ombygninger i barokstil i slutningen af 1600-tallet til den nyeste vestfløj, der blev tilføjet som stald i 1817, men i 1920 blev ombygget til gæstefløj.
Herregården kendes så tidligt som i 1295, hvor den var i slægten Litles eje. På dette tidspunkt lå den i landsbyen Husby, før den i 1300-tallet kom til sin nuværende placering. Herefter var Wedellsborg, dengang kaldet Iversnæs, bl.a. hos slægterne Skinkel, Gyldenstierne og Lindenov, indtil senere greve og lensbesidder Wilhelm Friedrich Wedell i 1666 blev ejer. Han satte på flere måder præg på herregården. Han oprettede grevskabet Wedellsborg i 1672, opkøbte jord og gennemførte store ombygninger. Han stiftede dog også betydelig gæld, hvilket længe prægede Wedellsborg, og først i midten af 1800-tallet oplevedes en økonomisk opblomstring.
Gennem ægteskabet mellem lensgreve Julius Carl Hannibal Wedell og komtesse Inger Krag-Juel-Vind-Frijs, der arvede herregården Frijsenborg i 1923, blev de to storgodser forenet, og udgør stadig i dag et af landets største godser. Den nuværende ejer, Bendt Wedell, er en direkte efterkommer af grevskabets stifter.
