De første bygninger af arkitektonisk interesse blev opført af Christian Hetsch. Af disse bygninger er kun Kamelhuset fra 1873 bevaret. Husene var alle små kulisser, der skulle minde om de lande, dyrene kom fra.
Det første elefanthus blev opført i 1878 som en beskeden træbygning, der hurtigt viste sig for lille. I 1913 blev det afløst af et »Tykhudehus« i nationalromantisk stil. Huset var tegnet af P.A. Rosenkilde Gram og husede også næsehorn, flodheste og tapirer. I 2008 blev et nyt elefanthus, tegnet af den engelske arkitekt sir Norman Foster, indviet. Det gamle elefanthus blev revet ned i 2017 for at give plads til et nyt pandaanlæg, som er tegnet af BIG – Bjarke Ingels Group og forventes åbnet i 2019.
Fra begyndelsen af 1980’erne blev arkitektfirmaet Dall & Lindhardtsen husarkitekt i Zoologisk Have, og i mere end 30 år satte firmaet sit præg på næsten alle ny- og ombygninger med en robust og konstruktivt orienteret stil.
Blandt havens mange bygninger er især udsigtstårnet, men også hovedindgangen blevet symboler på Zoologisk Have. Tårnet, som blev opført i 1905, er inspireret af Eiffeltårnet i Paris og tegnet af Theodor Andreas Hirth, mens hovedindgangen, der blev indviet i 1998, er tegnet af tegnestuen entasis ved Christian Cold.