Az egervári vár IV. Béla idején a nyugati-déli határt védő Kőszeg, Vasvár, Körmend, Lenti várlánc egyik tagja volt, s a XIV sz. elején égett le. Egervári László bácsi várnagy építtette újjá, akinek 1476-1490 között emelt vára szintén elpusztult, még az alaprajzát sem ismerjük.
A négy oldalról zárt sarokbástyás vár Nádasdy Kristóf építkezése nyomán alakult ki 1560 körül, amelyet a törökök gyújtottak fel. Nádasdy Ferenc kivégzése (1671) után Széchenyi György kalocsai érsek vásárolta meg, amelyet Széchenyi Zsigmond, az akkor már romos ferences templom köveiből alakíttatott át kastéllyá. Ekkor bontották le az É-i szárnyat s épült meg a D-i és Ny-i oldal elé az árkádos folyosó s a második emelet. A tető az 1754. évi tűzvész után készülhetett, s talán ekkor kerültek az S P Q R betűk a tornyok tetejére. Jelentésük: "Széchenyicnsium Potestati Quis Resisteret" azaz "A Széchenyiek hatalmának ki állhatna ellent." A kastélyt Széchenyi Jenő 1873-ban Solymosi Lászlónak adta el, bár ők sem laktak itt, csak birtokai jövedelmét élvezte 1945-ig.
A várudvar nyaranta szabadtéri előadások színhelye.