Está situado extramuros de la villa, en la margen izquierda de la carretera N-110, antes de que ésta, camino de Ayllón, llegue al puente sobre el río Aguisejo.

El edificio, fundado en el siglo XVI por piadosos cofrades, ha sido utilizado históricamente y hasta no hace tanto tiempo como hospital, dependiente del Obispado de Sigüenza.

A los acogidos en este centro se les daba el apellido De la Cruz.

El hospial fue abandonado a finales del siglo XIX, y no sería hasta 1910 cuando el entonces párroco de Santa María la Mayor logró conseguir fondos de la Junta Provincial para arreglarlo.

En la actualidad, el edificio acoge la residencia de personas mayores de Ayllón.