I middelalderen var Asnæs formentlig helt skovdækket, og da halvøen i 1500-tallet fungerede som kongeligt jagtterræn, har en stor del af skovarealet fået lov at blive stående. Den midterste del af skoven blev ryddet 1805-10 for at give plads til en schæfergård. Derved blev skovarealet adskilt i Forskov på ca. 220 ha og Vesterskov på ca. 200 ha. Længst mod vest erstattes skoven af den mere åbne, kratbevoksede Dyrehaven. De seneste 250 år har størstedelen af halvøen været drevet af godset Lerchenborg, som også ejer Forskov. Vesterskov ejes af godset Mineslund.
Såvel Forskov som Vesterskov er overvejende løvskove, der når ud til hhv. Kalundborg Fjord og Jammerland Bugt på begge sider af halvøen. På skovbunden blomstrer storblomstret kodriver sammen med hvid anemone om foråret, mens man i maj-juni kan finde ægbladet fliglæbe på nordkysten langs Vesterskov, og i sensommeren kan man opleve den sjældne trekløftalant, når den blomstrer i hundredvis langs kysten på sydsiden af Forskov.
Dyrehaven på den yderste spids af Asnæs fremstår i dag som et græsset overdrev med krat af hvidtjørn og slåen samt en smule tornblad. Plantelivet omfatter sjældenheder som kantbælg, dansk astragel og dunet vejbred, der alle vokser på de vestvendte skrænter. I området lever desuden en bestand af klokkefrøer, der blev udsat fra Agersø i år 2000, mens man i de mest lavvandede vandhuller, som tørrer ud om sommeren, også kan støde på den sjældne forårsdamrokke.
I 1954 blev Dyrehaven samt en kort kyststrækning på sydsiden af Vesterskov fredet. Derudover indgår både Dyrehaven og Havnemark i det nordvestlige hjørne af Vesterskov i habitatområdet Røsnæs, Røsnæs Rev og Kalundborg Fjord.
