Anteriormente conocido como la casa de las Doncellas, este edificio fue construido en el siglo XVII y la primera referencia que tenemos del mismo es del año 1693, cuando la familia Vellosillo lo vendió al hermano del sacerdote de la villa.

Durante los años pasó por muchas manos, como los Duques de Peñaranda, la Condesa de San Esteban o , la más famosa, la Emperatriz María Eugenia de Montijo. Durante muchos años la vivienda fue utilizada como casa de descanso por la emperatriz Eugenia, aunque su propiedad siempre ha estado más asociada a la familia de los Duques de Alba.

En su fachada se pueden contemplar también los escudos de armas de las familias Portocarrero y Osorio.