A 14. század végén a ferencesek számára építtette Lackfi István nádor. A templommal együtt a 16-17. században erőddé alakították. A visszatelepült ferencesek 1723-30. között teljesen átépítették, barokk hatású épületté formálták. A 18. század végén Festetics György bővíttette, alakíttatta a kolostort.
A 19. század elején a ferencesek helyét a premontreiek foglalták el, szintén több átalakítást végeztek. Századunk elején a térre néző homlokzatot eklektikus hatású köntösbe öltöztették. 1948 után egy ideig kollégium volt, jelenleg lakások vannak benne. A templom északi oldalával egybeépült, nagyjából négyszög alaprajzú, háromszintes, belső udvaros épület. Keleti és északi szárnya jobban őrzi a 18. századi, egyszerűbb barokkos formákat. Utcai falán márványtábla emlékeztet arra, hogy 1778-ban itt járt iskolába Batsányi János költő. Az 1772-ben alapított gimnázium mai épülete - a rendházhoz csatlakozóan - 1892-ben készült el. 1945-ig az épület előtti téren állt Festetics György szobra is, jelenleg a kastély előtt található.