Obec Radvány patrila v stredoveku zväčša k panstvu hradu Füzér, jej meno po prvý raz uvádza listina z roku 1262. V druhej polovici 16. storočia bol jej majiteľom István Báthory, ktorý v roku 1585 daroval obec svojmu familiárovi, Péterovi Rétheymu. Pravdepodobne bol staviteľom prvej kúrie, predchodcu dnešného kaštieľa, ktorá tu bola postavená v neskororenesančnom štýle. Potom sa niekoľkokrát zmenil majiteľ obce, o kaštieli vznikol v roku 1679 aj súpis.

V roku 1686 kráľ Leopold I. daroval hrad Füzér a jeho panstvo Lászlóvi Károlyimu, ako odškodnenie za straty, ktoré utrpel počas protitureckých bojov. Bol to začiatok – s krátkou prestávkou – viac ako dva a pol storočnej histórie kaštieľa v Radványi ako majetku Károlyiovcov z rodu Kaplonyiovcov.

Neskororenesančný kaštieľ, ktorý dal postaviť Réthey, záložný veritelia v niekoľkých periódach prestavali a rozšírili, ale takmer všetky časti takto vzniknutej budovy v tvare L boli zbúrané v období, kedy bol majiteľom Ede Károlyi.

Bol prvým z rodu Károlyiovcov, kto si Radvány zvolil za svoje stále bydlisko, kaštieľ v niekoľkých etapách prestaval, približne od roku 1846 až do roku 1877.

Koncepciu ako architekt amatér stanovil sám gróf. O vypracovanie architektonických návrhov požiadal Miklósa Ybla, jedného z najvynikajúcejších majstrov, tvoriacich v historizujúcom štýle, ktorý tu však mohol hrať pomerne obmedzenú rolu. Takto napokon vznikol nový reprezentatívny kaštieľ s pôdorysom v tvare U, s hospodárskym krídlom, pristavaným zo severnej strany.

Osemhrannú vežu rezidencie napríklad určite postavili na základe nápadu Ede Károlyiho. Podľa zápisov Ervina Ybla sa členovia rodiny za ňu stále Ede Károlyimu posmievali, kvôli vysokému, úzkemu a pomerne nesúmernému tvaru ju nazývali kutáčom.

Súčasne s výstavbou rezidencie bol zo záhrady vytvorený park v krajinnom štýle, ktorého rozloha na konci storočia bola už 170 katastrálnych holdov.

V období medzi rokmi 1897 a 1902 gróf László Károlyi podľa návrhov Alberta Pia prestaval južné obytné krídlo kaštieľa, architekt pritom vypracoval návrhy ešte aj v roku 1907, práce sa pravdepodobne pretiahli.

Aj v európskom meradle je pozoruhodnou zaujímavosťou kaštieľa veľký počet dodatočne zabudovaných talianskych stavebných prvkov. Gróf László Károlyi a jeho manželka grófka Franciska Apponyi medzi rokmi 1898 a 1913 nakúpili kompletné renesančné kozuby, rámy dverí, rezby, predovšetkým vo Florencii – tu hlavne od Stefana Bardiniho obchodníka s umeleckými predmetmi – a v Paríži, ktoré boli vstavané do kaštieľa vo Füzérradványi. Kúpili aj renesančný a neskororenesančný nábytok, umelecké predmety, čím v kaštieli vznikli skutočne muzeálne interiéry.

V období, kedy bol majiteľom gróf István Károlyi a neskôr v rokoch 1936-1938 bola budova prestavaná na luxusný hotel na základe návrhov Györgya Lehoczkyho, ktorý navrhol aj pavilóny, stojace v parku kaštieľa, kde boli tiež vytvorené izby.

Rozdelením siení na poschodí boli vytvorené apartmány, v parku vybudovali tenisové dvorce, lyžiarske dráhy a golfové ihriská, ďalej kúpalisko a apartmánové domy. Luxusný hotel obklopený úchvatným parkom otvoril hosťom svoje brány v roku 1938 a s jedinou prestávkou ho rodina prevádzkovala do roku 1948. Po zoštátnení v roku 1949 bola v kaštieli vo Füzérradványi zriadená nemocnica, neskôr medzi jeho stenami fungovalo sanatórium.

V rokoch 2018 až 2021 v rámci Národného programu kaštieľov a Národného programu hradov NÖF – nezisková spoločnosť s ručením obmedzeným na ochranu a rozvoj národného dedičstva, nezisková s.r.o. investovala do komplexnej pamiatkovej obnovy a rozvoja kaštieľa na turistickú atrakciu.