A Szirmay család a XVIII. században építtette barokk stílusú kastélyát, amit a XIX. században erősen átalakítottak. Igazi fénykorát a 19. század végén élte, amikor Szirmay Alfréd gróf lakott itt. Vendégei festők és művészek voltak. Ebből a korból több festmény is fennmaradt az épületről. Az épület tulajdonosa több évszázadon keresztül a gróf Szirmay család volt egészen az államosításig, ami után oktatási intézményként működött tovább. Többek között Szinyei Merse Pál ? akiről a jelenlegi helyi általános iskolát elnevezték ?, és Ferenc József is vendégeskedett az épületben. A kastélypark a mai sportpálya területén helyezkedett el.Szirmay Gábor a Szirmay család leszármazottja fontosnak tartotta a saját családtörténetéről fellelhető ismeretek, tények rendszerezését. 2005-ben könyvet adott ki ?A szirmai és szirmabesnyői Szirmay család története? címmel, mely az érdeklődők számára képet ad a Szirmay nemzetség tagjainak a történelemben betöltött szerepéről, vallásukról, kultúrájukról, gazdagságukról, a Szirmay névhez köthető meglévő emlékekről, kastélyokról, sírokról.