La Casa de la Torre está situada junto a la Plaza Mayor, frente ala espadaña de la iglesia de San Miguel.

Tiene la particularidad de ser el edificio civil más antiguo de los que se conservan en la villa y, aunque en la actualidad es sede de una oficina bancaria y un hogar de jubilidos, no hace mucho tiempo llegó incluso a ser empleado como casa-cuartel de la Guardia Civil .

Una curiosidad: tanto la portada gótica de la Casa de la Torre, como la del palacio de los Contreras, también en Ayllón, se hallan reproducidas en el Pueblo Español de Barcelona.