Voldstedet Vexøholm, også kaldet Veksø Slot, ligger ved vestbredden af Løje Sø. Det består af tre aflange banker i forlængelse af hinanden, som er adskilt af svage sænkninger. Området måler i længden 207 m i retningen nordvest-sydøst, mens bredden ændrer sig fra 103 m i nordvest til 56 m i sydøst. Gennem tiden er voldstedet blevet stærkt overpløjet, men på toppen af banken er fundet kampestensfundamenter i to skifter. Ud mod søen er fundet rester af en konstruktion af svære egepæle, og gennem tiden er fjernet en del munkesten fra voldstedet.
Vexøholm hørte oprindelig under Roskilde bispestol, men i 1391 nævnes en Bo Dyre til Veksø. Senere overgik ejendommen til Evert Moltke, der i 1397 kaldte sig Evert Moltke af Veksø. I 1456 købte Johan Oxe godset, men efter en kort årrække solgte han det videre til Christian 1. Siden skænkede kongen Veksø til et kapel ved domkirken i Roskilde. Borgen skal formentlig dateres til 1300-tallet, og muligvis blev stedet opgivet i begyndelsen af 1500-tallet.
