Ako prvý z rodiny grófa Károlyiho z Nagykárolya, pochádzajúcej z rodu Kaplony, získal v roku 1609 hodnosť uhorského baróna kráľovský poverenec Mihály (I.) Károlyi župan Satmárskej kráľovskej župy, neskôr v roku 1712 získal hodnosť uhorského grófa Sándor Károlyi (I.) župan Satmárskej kráľovskej župy, kurucký generál, zástupca cisárskeho vojvodcu.
Centrom rodiny bolo po storočia starobylé panstvo, hrad Nagykároly.
V roku 1686 kráľ Leopold I. daroval hrad Füzér a jeho panstvo Lászlóvi Károlyimu, ako odškodnenie za straty, ktoré utrpel počas protitureckých bojov. Bol to začiatok – s krátkou prestávkou – viac ako dva a pol storočnej histórie kaštieľa v Radványi, ako majetku Károlyiovcov.
Sedemnástym dieťaťom baróna Lászlóa Károlyiho bol Sándor Károlyi, generál Rákócziho boja za slobodu, župan Satmárskej kráľovskej župy, jeden z najvýznamnejších uhorských politikov 18. storočia. Z poverenia Ferenca Rákócziho II. ako hlavný veliteľ podpísal v roku 1711 v Satmári Satmarský mier, dohodu o ukončení protihabsburského povstania Františka II.. Sándor Károlyi v roku 1712 získal od panovníka spolu s grófskym titulom aj nový rozšírený erb.
József Károlyi župan Satmárskej kráľovskej župy, miestodržiteľ župana Békéšskej kráľovskej župy, zomrel v roku 1803, panstvá zdedili jeho maloletí synovia István (I.) Károlyi, Lajos (I.) Károlyi a György (I.) Károlyi. Obec Radvány sa ďalej dedila vo vetve rodiny Istvána (I.).