Jeho budova už v meste neexistuje, stala však na mieste na ktorom dnes stojí Základná škola Duklianska.
Celé desaťročia budova menila svoj účel od pevnosti cez sídlo feudálneho panstva, administratívne centrum regiónu, sídlo vojenskej posádky až po školu.
Kaštieľ mal štyri opevnené bašty, bol dvojposchodový štvorkrídlový objekt s obdĺžnikovým pôdorysom a átriovým nádvorím. Stal na malej vyvýšenine na pravom brehu potoka Radiša.
Do kaštieľa sa vchádzalo mostíkom cez vstupnú bránu, nad ktorou bol erb majiteľov. Išlo bežný typ šľachtického vidieckeho sídla podľa renesančného talianskeho kaštieľa, ktoré plnilo obrannú a sídelnú funkciu.
KaštieĽ má pestrú históriu, niekoĺkokrát vyhorel, bol opustený a zanedbaný, zbúraný a vystavený nanovo, menil majiteľov.
Vlastnili ho Ludanickovci, po ich smrti trenčiansky podžupan Kassay, ktorému ho mal odňať kráľ Matej Korvín a darovať Blažejovi Magyarovi, sedmohradskému „podvojvodovi“, po ktorého smrti prešiel kaštieľ aj s obcami Pravotice, Brezolupy a Prusy Podmanickovcom.
Doložené je, že v roku 1466 dal Matej Korvín za zásluhy v boji proti Turkom i husitom Bánovce do zálohu Ladislavovi Podmanickému.
V roku 1510 kaštieľ vyhorel, krátko pred návštevou kráľa Vladislava II. Jagelovského, ktorý sa v Bánovciach zastavil počas cesty do Uherského Brodu.
Kráľ sa preto ubytoval u mešťana Kúkoľa. Pre mestečko a okolie to bola mimoriadna udalosť.
Kaštieľ „v starej podobe“ bol definitívnre zbúraný gašparom Illesházym“, zaťom uhorského palatina Juraja Thurzu, v roku 1628 a na jeho mieste postavili opevnený renesančný kaštieľ, ktorý je vidieť na fotografii.
Posledným urodzeným majiteľom kaštieľa bol francúzsky gróf d ´Harcourt, po ňom Uhorská banková a obchodná spoločnosť v Budapešti, od ktorej bánovské panstvo odkúpil v r. 1910 Jakub Neuwirth a od neho statkár Šimon Schlesinger.
Po jeho smrti ho zdedil jeho zať Priesender. Ten však o kaštieľ nemal záujem a postúpil ho mestu, ktoré v ňom v roku 1911 umiestnilo školu premiestnenú zo Zay-Ugroc (Uhrovca).
Ľudovo, ale aj v zápisoch v kronike mesta sa táto škola nazýva Polgárka. Po maďarsky sa v nej vyučovalo až do roku 1918. Potom do školy prišli českí učitelia.
Škola v kaštieli sídlila do roku 1940. v uvedenom roku kaštieľ zbúrali a dňa 4.augusta 19740 bol posvätený základný kameň budúcej stavby.
Náklady na stavbu boli 3 600 000 Kčs, mesto si vzalo dlhodobý úver vo výške 1,5 mil. Kčs, zvyšok asi dofinancoval štát.
Vyučovanie v novej škole sa začalo 9.2. 1942. Škola funguje dodnes a je najstaršou základnou školou v Bánovciach nad Bebravou.
