Fue Juan Pacheco, marqués de Villena, quien adquirió el castillo de Chinchilla a mediados del siglo XV, remodelando lo que anteriormente había sido una fortaleza musulmana y otorgándole su aspecto actual. Se reestructuró entonces la torre del homenaje con fines residenciales y se rodeó la fortaleza con un profundo foso tallado en la piedra granítica sobre la que se sitúa la construcción. Unas décadas más tarde, el castillo comenzó a ser usado como prisión, albergando a huéspedes tan ilustres como César Borgia, a quien Fernando el Católico había encargado capturar y traer a España. A comienzos del siglo XIX fue asediado por las tropas napoleónicas, que sitiaron la población para hacerse con su control. En el siglo XX fue restaurado y pasó a ser propiedad del Ayuntamiento local.