I 1346 erhvervede Niels Bugge, en af landets rigeste og mægtigste adelsmænd, Hald, ikke at forveksle med Gammel Hald. Det var sandsynligvis ham, der først anlagde en borg på det næs i Hald Sø, hvor det senere Hald Slot blev opført. Ved arkæologiske udgravninger i 2017 og 2018 under de nuværende ruiner af Hald Slot er der blevet registreret en tørveopbygning kantet af egepæle, der var fældet i vinteren 1347‑48, og som formentlig knytter sig til Niels Bugges borgbyggeri, men hvordan borgens bygninger så ud, vides ikke. Efter Bugges død i 1358 overgik Hald til svigersønnen Godskalk Skarpenberg. I hans ejertid belejredes borgen formentlig af kong Valdemar Atterdag i 1372, hvorefter den kom i kongens besiddelse. I 1393 gav Margrete 1. Hald til Viborg bispestol på den betingelse, at borgen skulle rives ned og materialerne bruges til Vor Frue kapel ved Viborg Domkirke.
Bygningsresterne på stedet er kendt under navnet Bispens Hald og stammer fra den borg, som Viborgbispen Jørgen Friis lod opføre i 1520’erne. Borgpladsen måler ca. 80 × 30 m og er omkranset af en ca. 8 m høj og op til 30 m bred vold. Volden skulle modstå artilleribeskydning og gjorde borgen til et på den tid topmoderne forsvarsværk. Der var adgang til borgen gennem en portbygning i voldens sydvestlige hjørne. I den sydvestlige vold blev indbygget et cirkulært teglstenstårn, der ligesom portbygningen var udstyret med skydeskår til kanoner. Det tårn, som står i dag, er en rekonstruktion. Viborgbispen havde mange fjender og var en hovedperson i stridighederne omkring Reformationen.
Tæt ved Hald Borgruin ligger voldstedet Brattingsborg.
