Il Cinquecento fu il secolo di maggior splendore per i Gesualdo, che con un’abile politica di alleanze e matrimoni riuscirono ad accrescere la potenza della famiglia. Nel 1543 Luigi IV, grazie alla dote della moglie Isabella Ferrilli, figlia del conte di Muro, acquistò il feudo di Venosa e nel 1561, dopo il matrimonio del primogenito Fabrizio II con Girolama Borromeo, sorella dell'arcivescovo di Milano Carlo Borromeo e nipote di papa Pio IV, ricevette il titolo di principe. Nell'occasione fu decisiva la mediazione sui capitoli matrimoniali condotta dal cardinale Saraceni, dal nunzio apostolico in Napoli, Paolo Odescalchi, e dal fratello minore di Fabrizio, Alfonso, il quale, come ricompensa della riuscita trattativa, a soli 21 anni fu nominato cardinale diacono col titolo di Santa Cecilia e il 14 aprile 1561 divenne administrator della diocesi di Conza; nel 1563 divenne arcivescovo di Conza, primo gradino di una carriera che lo avrebbe proiettato ai vertici della gerarchia ecclesiastica(8). Poiché Alfonso non aveva ancora l’età richiesta per la nomina a cardinale, fu necessaria una deroga, concessa da Pio IV, per assegnargli la berretta cardinalizia durante il concistoro del 1564; con lui furono nominati cardinali altri due giovani prelati, Francesco Gonzaga e l’arcivescovo di Napoli Alfonso Carafa.

Fino agli inizi del XX secolo Alfonso Gesualdo era indicato dai biografi come neapolitanus. La Santa Sede, in mancanza di notizie precise sulla sua nascita, dispose un'indagine nell'archivio della Curia arcivescovile di Conza e il vescovo, monsignor Antonio Buglione, non ritrovando documenti, fece proseguire la ricerca a Calitri; qui, nel primo registro dei battezzati, l'arciprete don Luigi Di Milia ritrovò la trascrizione dell'atto di nascita del cardinale: “D. Alfonso Gesualdo figlio del detto D. Luigi Gesualdo fu cardinale nel tempo di Pio quarto nel anno 1561 - nacque a 20 di ottobre nel anno 1540 in Calitro a doji hore di notte(9)”.

Nel grande castello di Calitri Alfonso trascorse la giovinezza e ricevette la sua educazione, coltivando gli studi nella ricca biblioteca degli avi(10); il suo nome ricorre più volte nei registri parrocchiali come testimone in occasione di battesimi. Nel corso del XVI secolo il castello perse il suo originario carattere militare per assumere l’aspetto di una sfarzosa residenza patrizia; una relazione del 1637 lo definiva “fabrica degna per il Principe(11)” e nel 1688 il vicario episcopale di Conza, Donatantonio Castellano, lo descriveva composto da oltre trecento stanze “che vi possono stare comodamente da cinque Corti di Signori(12)”. Nel Cinquecento vi abitarono tutti gli arcivescovi di casa Gesualdo; Alfonso, particolarmente affezionato alla sua residenza natìa, ne curò il restauro dopo il terremoto del 1561 e quando, negli anni successivi, fu costretto ad allontanarsi dall'Irpinia, mantenne per sé un appartamento nel maniero, utilizzandolo per brevi soggiorni(13).