La struttura ebbe origine dalla torre pentagonale, da cui si ipotizza che il complesso fortificato sia stato realizzato per il controllo delle valli dell’Aventino e del Sangro tra fine XI ed inizio XII secolo. Il blocco attuale è di epoca rinascimentale. La sua storia si intreccia con quella del feudo di Casoli, che dapprima fece parte della Contea di Manoppello (XII sec) e poi, dal 1369 fino al 1489, fu degli Orsini, ed in fine della famiglia Masciantonio. L’edificio presenta una corte interna quadrangolare e finestre che gli conferiscono l’aspetto di un palazzo signorile più che di una roccaforte di difesa. Dal 1928 il palazzo ducale e la torre sono stati dichiarati monumento nazionale. In un’ala del castello è possibile ammirare delle scritte murarie di Gabriele D’Annunzio, che al suo interno soggiornò.