Kong Erik Menved påbegyndte byggeriet af Kalø i 1314, efter at bønder året før under et jysk bondeoprør havde nægtet at efterkomme kongens krav om ekstra skatter. Efter at oprøret var blevet slået ned med hård hånd, opkrævede kongen hårde bøder og opførte fire såkaldte tvangsborge i Jylland, bl.a. Kalø, der skulle bruges i underkuelsen af egnens befolkning. Efter kongens død i 1319 blev borgen nedrevet som følge af bestemmelserne i kong Christoffer 2.s håndfæstning. Kalø blev dog hurtigt genopført i den kongeløse tid 1332‑40. Fra 1340 blev den senere drost Claus Limbek lensmand på Kalø, der blev givet til ham i pant af de holstenske grever. Ved forliget i Spandau i 1340 blev det bestemt, at kong Valdemar Atterdag skulle indløse Nørrejylland, og at Kalø med en fjerdedel af provinsen skulle indløses først, hvilket skete i 1343. Senere blev Kalø af kongen pantsat til bispen af Aarhus og først indløst i 1407. I senmiddelalderen fungerede Kalø som kongeligt administrationscentrum for Djursland og blev regnet for et af de vigtigste len i landet. Ofte var det rigets mægtigste mænd, der sad inde med Kalø, heriblandt rigshofmesteren Otte Nielsen Rosenkrantz. Mellem 1518 og 1519 sad den senere svenske konge Gustav Vasa som fange på Kalø.
Kaløs nuværende udseende stammer fra kong Valdemar Atterdags regeringstid (1340‑75). Borgen er bygget på en lille ø i Kalø Vig. I forbindelse med borgens opførelse blev øen forbundet med fastlandet ved en stenbelagt dæmning. Borganlægget omfatter 5.600 m² og består af en mindre forgård behersket af et porttårn og en større indre gård domineret af det store hovedtårn. Langs ringmuren i den indre gård fandtes et større antal bygninger.
Efter enevældens indførelse i 1660 kom Kalø til at lægge navn til det nye Kalø Amt, men selve borgen var nu militært forældet og havde mistet sin administrative betydning som lenssæde. Kongen skænkede den samt den tilhørende ladegård og jorder til sin søn Ulrik Frederik Gyldenløve, der i 1670 atter lod godset gå tilbage til kronen. Meget af borgen blev derefter nedbrudt i 1672. Byggematerialerne blev sejlet til København, hvor de blev anvendt til opførelsen af Charlottenborg på Kongens Nytorv.
Borgruinen – Kalø Slotsruin – er i dag en del af Nationalpark Mols Bjerge, og besøgende kan følge middelaldervejen ud til ruinen og gå ad en ny trappe op i tårnet, indviet i 2015, og derved komme op og nyde udsigten over landskabet og havet. MAP Architects står bag projektet i samarbejde med Realdania, Slots- og Kulturstyrelsen og Naturstyrelsen.
Kalø med sin naturlige banke og isolerede beliggenhed var militærstrategisk set optimal til borgbyggeri. Kun via den lange vejdæmning var der adgang til borgen på toppen af banken. Til de andre sider var øen beskyttet af havet. Hertil kommer, at Egens Vig på østsiden udgjorde en god naturhavn, som det har krævet et godt lokalkendskab at finde passagerne til.
