Situado a las afueras de la villa, junto a la carretera que conduce a Aranda de Duero, este convento fue fundado por san Francisco de Asís en el año 1214.

La historia recoge que en él se reunieron don Fernando de Antequera, señor de Ayllón, la reina Catalina de Lancáster y el entonces rey niño Juan II, junto con fray Vicente Ferrer, poco antes de que el primero se convirtiera en rey de Aragón en 1411.

También pernoctó en su famosa hospedería, allá por 1581, la santa andariega Teresa de Jesús, procedente de Soria, donde acababa de fundar el convento de la Santísima Trinidad. La acompañaba, cómo no, su inseparable compañera sor Ana de San Bartolomé.

En 1601, el convento de San Francisco sufrió un aparatoso incendio, tras el cual fue sometido a una importante reforma.

Entre 1802 y 1813 los frailes hubieron de dispersarse, acosados por las tropas francesas que habían invadido la Península.

En 1845, el Estado se hace cargo del complejo y, tras pasar por diversas vicisitudes, acabó siendo de propiedad privada. En la actualidad, funciona como establecimiento hostelero.

Sus dos antiguos y magníficos retablos acabaron encontrando acomodo en la iglesia parroquial de Santa María de Riaza y en la de Santa María la Mayor de Ayllón.