El castillo de Ayllón se alzaba en el cerro que domina la villa, toda ella circundada por un murallón de tapial árabe de gran espesor denominado 'Los Paredones', en los que pueden apreciarse restos de vigas empotradas perpendicularmente.

Dichas vigas permitían apoyar en ellas dos tableros verticales, los enconfrados, que luego eran rellenados con tierra apisonada, a la que se añadía una lechada de cal.

Un enorme bloque de argamasa, situado en la parte más próxima al pueblo, hace suponer que de allí arrancaran las murallas que rodeaban la villa, para después bajar junto a la iglesia de San Juan y Los Adarves, en cuya cerca de la huerta de las madres concepcionistas pueden apreciarse aún varios lienzos.

Desde allí, frente al río Aguisejo y siguiendo por las huertas, junto a la carretera de Soria, la muralla cerraba la villa y subía por las laderas opuestas del cerro.