Il castello di Calitri, così come rappresentato nell'incisione del Pacichelli pubblicata nel volume "Il Regno di Napoli in prospettiva" nel 1702, era un'imponente costruzione con quattro grosse torri angolari, contrafforti ed altre opere di fortificazione, con l'accesso principale disposto sul versante sud-est di una delle colline che dominano le valli dell'Ofanto e del Cortino.
Tutta la facciata nord, articolata in due massicce cortine murarie emergenti, era costruita sul costone a picco di arenarie stratificate di oltre settanta metri di altezza.
Una descrizione dettagliata dell'edificio fortificato è contenuta nella "Cronista Conzana" di D. Castellano, che lo visitò nel 1691.
Questi, infatti, parla di " un famosissimo castello carico di abitazioni circa a 300 camere, che vi possono comodamente stare cinque corti di Signori, ben munito di due ponti a levatoio con bellissimi bastioni, atteso detto castello sta posto sopra un monte, e guarnito di tutte le comodità et alta terra è tutta morata ed ha quattro porte, che si rende assai sicura".
Nello stesso periodo il Chianelli, incaricato dai feudatari della famiglia Mirelli di redigere una relazione estimativa, lo descrive "come bella macchina di fabbrica" valutandone i consistenti danni alle strutture in seguito ai terremoti del 1688 e del 1692.
L'esistenza del castello è documentata nel XIII secolo. Risulta difatti dagli "Statuta officiorum" del regno svevo pubblicati dal Winckelmann che, nel 1240, esso, appartenente al demanio imperiale, fu sottoposto ad interventi di riparazione e adeguamento delle strutture difensive nell'ambito del programma federiciano di miglioramento dell'edilizia fortificata in Italia meridionale.
Al momento dell'occupazione angioina il "Castrum Calitri" era uno dei circa quaranta castelli agibili esistenti nel giustizierato del "Principato e Terra Beneventana".
Esso fu assegnato da Carlo d'Angiò al barone di Fleury nel 1276. Appartenne ai Del Balzo e, nel 1304, venne acquistato dai Gesualdo che ne detennero il possesso per oltre tre secoli e lo ampliarono con consistenti e ripetuti interventi di ristrutturazione. Rimase proprietà di questa famiglia fino al 1629, anno della morte dell'ultima discendente Isabella. I Gesualdo dimorarono sempre nel castello che in quel periodo fu ampliato e trasformato in sontuosa residenza.
Nel XVII secolo passò ai Ludovisi che nel 1676 lo vendettero, insieme ai feudi di Calitri, Castiglione e S. Maria in Elce, alla famiglia Mirelli che ne rimase proprietaria fino al 1806.
Nella sequenza dei terremoti avvenuti tra il XVI e XVII secolo il castello di Calitri riportò ingenti danni.
Crollarono numerosi ambienti per il violento terremoto del 1561, che ebbe per epicentro il Vallo di Diano e produsse gravi danni a tutto il centro abitato. Fu successivamente riparato dal feudatario del tempo, Luigi IV Gesualdo, per continuare ad essere usato come palazzo per la residenza della sua famiglia.
Esso fu completamente distrutto dal violentissimo terremoto dell'8 settembre 1694 che danneggiò tutto il centro abitato e i paesi circostanti, provocando circa 300 vittime e moltissimi feriti.
Proprio in seguito a tale disastro, i feudatari superstiti della famiglia Mirelli optarono per l'abbandono dei ruderi in cima alla collina, ricostruendo il palazzo baronale più a valle, nei pressi della chiesa madre e del Monastero delle suore benedettine.
L'area del castello divenne, dal XVIII secolo in poi, oggetto di grosse trasformazioni urbane che modificarono, irrimediabilmente, l'antica struttura.
Enormi danni alle strutture residue dell'antico edificio fortificato si ebbero anche in seguito ai terremoti del 1910 e del 1980.
Dall'inverno 1988-1989 è in corso, a cura della Soprintendenza per i B.A.A.A.S. di Salerno e Avellino, nella parte più alta del centro storico di Calitri, un intervento di restauro dei manufatti edilizi, delle strutture urbane esistenti e della torre adiacente alla porta di "Nanno" venuta alla luce dopo il terremoto del 1980. Oggi una parte del Borgo Castello, che ospita il museo della "Ceramica", e la torre di "Nanno" sono state restaurate.

Testi tratti dalla "Relazione storica e descrittiva del Castello di Calitri" a cura dell'arch. Vito De Nicola - Soprintendenza per i B.A.A.A.S. di Salerno ed Avellino.