I forbindelse med Margrete 1.s overtagelse af Aabenraa fra de holstenske grever i 1411 sikrede hun sig ret til at opføre en ny borg til erstatning for den gamle. Det var dog antagelig kong Erik af Pommern, der i tiden efter 1411 anlagde den store borgbanke Brundlund vest for byen og omgav den med voldgrave. Der vides intet om Erik af Pommerns borg.
Det nuværende slot er opført af Frederik 1. som en kombineret port- og hovedbygning omkring 1530. Samtidigt hermed byggedes Slotsvandmøllen, der var en kombination af en mølle, sluse til voldgraven og en del af forsvaret af slottet. På samme tid blev den sydligste del af Nybro samt den vestligste del af Slotsgade etableret for at skaffe direkte adgang fra byen til slottet. Omkring 1590 under gottorperne blev slottet ombygget til et renæssanceanlæg af Hercules von Oberberg med tilføjelsen af to diagonalt anbragte ottekantede hjørnetårne, et mindre trappetårn samt et åbent galleri på sydsiden.
Slottet blev ændret til en nyklassicistisk bygning af C.F. Hansen 1805‑07. Slottet ligger smukt og frit i det store, naturprægede område, der når næsten helt ind til Aabenraas bykerne, dog afbrudt af vejen Møllemærsk. Både holmen, hvor der tidligere har været anlagt have, og engarealet præges af mange gamle, store træer. En dæmning fra 1744, flankeret af træer, fører over slotsgraven, og dele af de tidligere voldgrave er omdannet til søområde.
Siden 1998 har slottet huset Kunstmuseet Brundlund Slot, der i 2006 blev en del af Museum Sønderjylland. Museets samling og udstillinger udgøres i dag af kunstnere fra Sønderjylland og Hertugdømmerne fra 1700-tallet og frem. Bemærkelsesværdig er især en stor samling af avantgardekunstneren Franciska Clausen, ca. 2.500 værker i alt, som kom til kunstmuseet i 2011 efter at have været en årrække på kunstmuseet Trapholt i Kolding. Hertil kommer en fin guldaldersamling, hvor særligt C.W. Eckersberg og C.A. Jensen er velrepræsenterede.
