L'origine du château remonterait à l'époque carolingienne.
A la fin du XIème siècle, il constitue la propriété des Bénédictins de La Charité-sur-Loire, devenus seigneurs temporels de Pouilly par suite du don que leur avait fait Humbault le Blanc avant de partir en croisade.
Le château a beaucoup souffert de la guerre de Cent Ans et des luttes opposant catholiques et protestants.
Ruiné et rebâti à plusieurs reprises, il a été réédifié une dernière fois en 1651.
A la Révolution, le château devient un bien national. Il est acquis, au début du XIXème siècle par la famille Lafond, qui avait pris possession quelques années auparavant du château du Nozet.