På en ca. 90 x 94 m stor voldgravsomkranset banke rejste Stygge Krumpen en ca. 4 m høj og knap 1,5 m tyk ringmur forsynet med vægtergang og en port i øst, som omsluttede et areal på 44 x 45 m.
I ringmurens nordøstlige hjørne, langs nordmuren, opførtes et mere end 18 m langt stenhus i munkesten i to stokværk over en tøndehvælvet kælder samt øverst et halvstokværk indrettet til skytteloft. Første stokværk fik to krydshvælvede, kaminopvarmede rum, mens andet stokværk var indrettet som et stort salsrum.
Den nuværende hovedbygning består af to fløje. Den ældste er den smalle nordfløj, der indgik i Stygge Krumpens borg. Hovedfløjen er den statelige østfløj med to ottekantede hjørnetårne og portgennemkørsel med en pragtportal opført 1586-91. Nordfløjen er opført i munkesten som et jagthus for Børglumbispen. Rester af en senmiddelalderlig vægtergang spores i den øverste etages murværk, og mod øst afsluttes bygningen med en karakteristisk kamtakket, gotisk blændingsgavl. Nordfløjen er blevet forlænget mod vest i 1600-tallet. Ved en restaurering i 1876 blev der opsat en nygotisk vestgavl som pendant til østgavlen.
Det er østfløjen, der giver anlægget sin karakter. Bygningsværket tilskrives den nederlandske arkitekt Philip Brandin. Men fællestræk med stenhuggerarbejdet på Frederik 2.s Kronborg tyder snarere på, at mesteren for Voergårds østfløj og portaler skal findes blandt de nederlandske billedhuggere og stenmestre, der var knyttet til værkstederne på Kronborg i 1570’erne og 1580’erne.
Den 11 fag lange østfløj er opført i røde mursten under et teglhængt rødt sadeltag. De to østvendte ottekantede hjørnetårne er tækkede med pyramideformede taghætter. Facadens udsmykning er uden sidestykke i Danmark. Over en lav tilhuggen granitsokkel rejser sig høje, glatte kælder mure som en slags brystpaneler i røde mursten. Med stueetagen indledes en overdådig sandstensornamentik, hvor vandrette og lodrette sandstensindfatninger afgrænser bygningens enkelte vinduesfag. Fagene indrammes af murpilastre og afsluttes med kapitæler. Tagudhænget bæres af konsoller i form af volutformede egetræsknægte.
Østfacadens mest markante kunstværk er sandstensportalen, dateret 1588. Den er formet som en triumfbue med fire doriske halvsøjler, der hviler på et firkantet postament med løvehoveder. Portbuen er indrammet af bemærkelsesværdige diademhoveder.
Voergårds østfløj er i det indre præget af ombygninger i 1700-tallet, bl.a. den såkaldte Guldstue indrettet i 1730’erne i barokstil med gyldenlædertapeter og tung loftsudsmykning.
