Este palacio, construido en el siglo XVI y reformado en profundidad en 1804, fue arrasado por un incendio, en 1945, del que sólo se salvó la fachada.

En su pared frontal, tanto a derecha como a izquierda, pueden verse los escudos de los marqueses de Villena.

Al parecer, éste fue el primer palacio que los marqueses tuvieron en la villa, antes de que decidieran cederlo al Consejo de Ayllón en el año 1620.