A kastély mai helyén a középkorban a Gersei Pethő család kúriája állott, a nagy szökőkút táján pedig a város Szent Márton temploma emelkedett. Köztük haladt el az országút.
A kúria helyén Festetics Kristóf 1745-ben kezdte meg a kastély építését. 10 évvel később átépítették, bővítették. Ebben a formájában U alakú, földszintes, 34 helyiséget magába foglaló épület volt. 1770 körül közel kétszeres alapterületűre növelték.
A 18. század utolsó évtizedében Festetics György folytatta az átalakítást, 1801-ben készült el a kőnyvtár ma is megcsodált díszes berendezése, három évvel később a kápolna.
Ekkor a kastély már kétemeletes, szintén U alaprajzú, gazdagan díszített és fényesen berendezett volt.
1883-87. között Festetics Tasziló tovább bővítette, alakíttatta. Ekkor az északi szárnyat lebontották, helyén új, nagyméretű szárnyat emeltek, melyet a magasan kiemelkedő tornyos középrésszel kapcsoltak a régihez. Az előző századi részek is új külső díszt kaptak. az egész együttes manzárd tető alá került. Teljesen új, fényűző belső berendezés készült, csak a könyvtár és a kápolna maradt változatlan.
A század utolsó évtizedében a kastély homlokzata előtt vezető főutcát is megszüntették, s a parkhoz csatolt félköríves terület mögé helyezték. Az itt álló Szent Márton tomplom tornyát is lebontatták (a templomot már 1816-ban), a megnövelt parkba díszes szökőkutat építettek. 1893-ból való a ma is használt díszes főkapu. 1945-ig a Kastély a várostól szinte tejesen elzárva élte a maga életét. 1945 után több intézménynek nyújtott átmeneti otthont, súlyosan meg is rongálódott, A könyvtárat az Országos Széchenyi Könyvtár vette gondozásba, végül az egész épület az Oktatási Minisztérium kezelésébe került.
A könyvtár és a kastély régi (déli) szárnya múzeumi látványul, szolgálnak, itt működik a város könyvtára és zeneiskolája is. Keleti szárnya - a folyó helyreálítás után - kulturális továbbképző központnak ad otthont.
A kastély bejárata előtt áll Festetics György szobra. Haladó gondolkodású főnemes volt, a Georgikon alapítója, a tudományok és az irodalom bőkezű pártfogója (1755-1819).
A szobor - Lukácsy Lajos műve - 1945-ig a város főterén állott. A kastély parkja védett, benne az ún. oroszlános kút érdemel figyelmet - kis, oroszlán domborművel díszített épület, a kastély régi vízvezetékrendszeréhez tartozott.
Ugyancsak a parkban áll a műemlék jellegű Immaculata szobor: 1770-ben készült, magas oszlopon a földgömbön álló, a kígyót eltaposó Szűz Máriát ábrázolja. Eredetileg a lebontott Szent Márton templom előtt állott.