Det Jyske Musikkonservatorium blev grundlagt i 1927 af violinisten Johan Nilsson på privat basis og blev i 1944 en selvejende institution under Kulturministeriet. I 1963 blev det overtaget af staten. Uddannelserne er bygget op som andre lange videregående uddannelser med en treårig bachelor og en toårig kandidat, men adgang sker efter optagelsesprøve. Derudover er der en toårig solistuddannelse med særlig fokus på koncertvirksomhed.
Det Jyske Musikkonservatorium, fik med Tage Nielsen som rektor 1963‑83 skabt et miljø, hvor musikere og komponister som Fuzzy, Svend Nielsen, Ingolf Gabold, Karl Aage Rasmussen, Hans Abrahamsen, Per Nørgård og Pelle Gudmundsen-Holmgreen brillerede. DIEM, Dansk Institut for Elektroakustisk Musik, er en afdeling af konservatoriet, der blev grundlagt i 1986 og har stor søgning.
Forskningen på konservatoriet er i regi af Center for Music in the Brain, som er et samarbejde mellem Aarhus Universitet og Center of Functionally Integrative Neuroscience (CFIN) ved Aarhus Universitetshospital. Konservatoriet udbyder en lang række uddannelser inden for rytmisk, klassisk og elektronisk musik og har desuden to masteruddannelser og to diplomuddannelser. Med omkring 400 studerende er det landets næststørste konservatorium. Fysisk er institutionen siden 2007 samlet i Musikhuset Aarhus, der blev udbygget for at kunne rumme de nye aktiviteter. I 2010 blev Nordjysk Musikkonservatorium lagt sammen med Det Jyske Musikkonservatorium, der også har lokaler i Musikkens Hus i Aalborg.
