A la derecha, una vez pasado el Arco que da acceso a la villa, se encuentra este interesantísimo edificio de fachada de estilo gótico isabelino. Su portada, de sillería, se halla recuadrada con un cordón franciscano que hace mención al convento de San Francisco, con tres escudos ladeados hacia la izquierda (fachada de Juán de Colonia).
En caracteres góticos, puede verse la siguiente inscripción: "REINANDO EN CASTILLA Y EN ARAGÓN LOS MUY ALTOS PRÍNCIPES DON FERNANDO Y DOÑA ISABEL ESTA / CASA MANDO HACER EL MUY VIRTUOSO FIJODALGO: JUAN DE CONTRERAS EL AÑO DE MCCCCXCVII".
En el interior de esta casa-palacio, declarada Monumento Histórico-Artístico en 1969, se conservan unos bellos artesonados moriscos originales de la época de Don Alvaro y un mobiliario de gran valor.
Popularmente, es conocido como el palacio de don Álvaro de Luna, condestable de Castilla, ya que esta construcción se llevó a cabo a partir de otra anterior donde don Álvaro habitó.
