Den tætte bebyggelse betyder, at man må til parkerne og de åbne naturområder for at erkende konturerne af det oprindelige landskab, som blev skabt af isen og smeltevandet i slutningen af sidste istid.
Mellem Gammelmosevej og Frodesvej i nord og Gladsaxevej i syd er landskabet bølget og bakket. Flere steder når disse jævne morænebakker højder på 35‑45 m.o.h. og kulminerer i 51 m.o.h. ved Vandtårnsvej mellem Søborg Hovedgade og Jacob Bulls Alle. Bakkerne er stejlere og ligger mere tæt mellem Gladsaxevej og Utterslev Mose. Syd for Gladsaxe begynder det kuperede landskab gradvis at sænke sig og afløses sydpå af et mere jævnt morænelandskab, mens det bølget-bakkede morænelandskab mod vest afgrænses af den markante Kagsådal, der danner skel til Herlev Kommune. I øst grænser den mere beskedne lavning mellem Nymose og Utterslev Mose op til Gentofte Kommune.
Nord for Gammelmosevej og Frodesvej består de overfladenære istidslag overvejende af smeltevandssand og -grus og hælder ned mod Bagsværd og Lyngby Søer i nord. Begge søer ligger i et dalsystem, der fra Øresundskysten ved Klampenborg strækker sig vestpå og deler sig ved Lyngby Sø. Herfra fortsætter hoveddalen med Furesø og Farum Sø mod nordvest til Slangerup, mens en sidegren med Bagsværd Sø ender blindt i Frederiksdal Skov.
Vest for Bagsværd skifter landskabet karakter og bliver ujævnt og let kuperet med talrige lavninger. Det ligger i to niveauer, som adskilles af en kløftfuret skrænt, der kan følges langs Skovbrynet og Skovdiget. Øst for skrænten findes et lavtliggende landskab med småbakker og søer, som især træder frem i villakvarteret omkring Nydam. Vest for skrænten ligger det småkuperede landskab højere og kulminerer mellem Grønnevej og Sorte Spor i Store Hareskov i kommunens højeste punkt 56,7 m.o.h.
Kommunen ligger således på grænsen mellem to vidt forskellige landskabstyper. Mod nordvest findes det småkuperede morænelandskab med et fletværk af dale, der er så karakteristisk for det centrale Nordsjælland. Resten af kommunen består overvejende af et jævnt, bølget-bakket morænelandskab, der i trekantområdet Heden mellem København, Roskilde og Køge fremstår som en egentlig moræneslette.
Overalt i kommunen hviler istidslagene på lag af kalksten fra Danien. Under istiderne har isens bevægelser udjævnet danienkalkens overflade. Særlig markant er den flere kilometer brede, underjordiske Søndersødal, som strækker sig fra Øresund mellem Taarbæk og Vedbæk ind under Lyngby Sø, Bagsværd Sø, Furesø og Søndersø og videre mod vestsydvest. Søndersødalen er opstået pga. forkastninger, som har opsprækket kalken. Efterfølgende har is og smeltevand fjernet den opsprækkede kalk og derved skåret sig 20‑40 m ned i kalkoverfladen.
