Dem 1991 gegründeten Konservatorium gingen zwei Institutionen voraus: Im letzten Viertel des 19. Jahrhunderts wurden im Zuge des Cäcilianismus (Gründung des Cäcilienvereins der Diözese St. Pölten 1886) erstmals kirchenmusikalische Instruktionskurse für Organisten und Sänger sowie Choralkurse angeboten. Der ab 1924 mit der Reorganisation der diözesanen Kirchenmusik betraute Prälat J. Pretzenberger gründete am 1.10.1932 in weiterer Folge eine private Kirchenmusikschule. Sie setzte in der Diözese wichtige Signale hinsichtlich der kirchenmusikalischen Qualifikationsmöglichkeiten. 1936–38 war die Kirchenmusikschule auf Bestreben von W. Hofmann in die MSch. des St. Pöltner Gesangs- und Musikvereins eingegliedert. 1941–43 konnten die Kurse lehrplanmäßig und mit hoher Teilnehmerzahl (328 [darunter der spätere Kardinal Franz König], 18 Abschlussprüfungen) fortgeführt werden. Die nun folgenden Kriegs- und Nachkriegsjahre erzwangen eine vierjährige Pause des regulären Unterrichtsbetriebs. Am 1.1.1947 erfolgte die Wiedereröffnung der nun von der Diözese übernommenen Kirchenmusikschule, welche unter den beiden hauptamtlichen Lehrern J. Pretzenberger und W. Hofmann einen regen Zulauf erlebte: Bis 1957 fanden 80 Wochenkurse (801 Teilnehmer, 46 Abschlussprüfungen) statt. 1962 übernahm Prälat W. Graf als Nachfolger Pretzenbergers die Leitung der Kirchenmusikschule. Zu dieser Zeit galt den stark nachgefragten Kursen in der ersten Woche der Sommerferien besonderes Augenmerk. Es zeigte sich aber, dass statt sechs Wochenkursen schwerpunktmäßige Orgel-, Theorie- und Chorleitungswochen zielführender waren; diese führten allerdings zu geringen Abschlussquoten. Nachdem sich Ende der 1980er Jahre dieses Kurssystem als nicht mehr zeitgemäß herausgestellt hatte, entschied sich Prälat W. Graf nach dem Vorbild des Diözesankonservatoriums Wien zu einer Schulgründung mit ganzjährigem Unterricht.

Dieses Konservatorium für Kirchenmusik der Diözese St. Pölten wurde am 2.9.1991 eröffnet und erhielt am 10.10.1995 das dauerhafte Öffentlichkeitsrecht. 1996 übernahm Michael Poglitsch die Leitung. Fand der Unterricht zunächst in verschiedenen Räumlichkeiten am Domplatz statt, befindet sich das Konservatorium seit 2006 in der Klostergasse 10. Hierbei handelt es sich um einen Neubau durch das Architekturbüro DI Helmut Haiden, welcher am 24.11.2006 von Diözesanbischof Klaus Küng eingeweiht wurde. Das erklärte Ziel des Konservatoriums ist es, sich umfassend und praxisnah mit der Vielfalt der Musica sacra zu beschäftigen. Es werden die Ausbildungszweige Kirchenmusik, Lied-Messe-Oratorium und seit 2009 Neues geistliches Lied angeboten. Neben einem praxisnahen, anschaulichen und zeitgemäßen Unterricht wird die Ausbildung durch die musikalische Gestaltung von Gottesdiensten, geistlichen Abendmusiken, Klassenabenden und Schulfeiern sowie schulinternen Fortbildungsveranstaltungen, Vorträgen und Orgelfahrten geprägt. Zudem bietet das Konservatorium Unterricht in zwei Zweigstellen (Blindenmarkt, Stadtpfarrkirche St. Veit in Krems) an. Seit 2001 verfügt das Konservatorium gemeinsam mit den anderen Diözesankonservatorien Österreichs über ein Rahmenstatut.

Orgeln des Konservatoriums: Gr. (II) Hradetzky (II/13, Pedal) 1963; Oberösterreichische Orgelbauanstalt St. Florian (II/7, Pedal) 1979; Dreiteilorgel von Gerh. Hradetzky (II/6, Pedal), Ankauf 1991; Orgel in der Kapelle des Priesterseminars St. Pölten, Orgelbau Kögler St. Florian mit Bernhard Edskes (II/18, Pedal) 1996 [Neubau]; Hausorgel der Firma Walcker-Mayer (II/9, Pedal) 1987, Ankauf 2001; Festsaalorgel der Firma Woehl, Marburg/D (III/38) 2011 [Neubau]; Hausorgel von Ph. Eppel (II/4) 1950er, Schenkung 2012; Truhenpositiv der Firma Allgäuer (I/3); J. I. Egedacher-Positiv (1728), Rekonstruktion von Alois Linder (I/4, Pedal) 2022; Truhenpositiv von Alois Linder (I/4, Pedal) 2023.