Saliendo de la Plaza Mayor por la calle que limita la Casa de la Torre, se llega a este palacio, construido a finales del siglo XVI.

Fue mandado construir para su sobrino, del mismo nombre, por Fernando de Vellosillo, hijo ilustre de esta villa que llegó a ser obispo y señor de Lugo. Eminente teólogo, participó, en representación de Felipe II, en las deliberaciones del Concilio de Trento y llegó a ser consejero real.

Entre los años 1972 y 1983, y tras muchas vicisitudes, el palacio pasa a ser de propiedad municipal y se procede a realizar una profunda restauración.

En la actualidad, el Palacio del Obispo Vellosillo es sede del importante Museo de Arte Contemporáneo de la villa (formado por escultura y pintura de los becarios de la Facultad de Bellas Artes de Madrid que cada agosto desde hace 40 años vienen a nuestro pueblo a dejar su arte, algunos de los primeros, hoy famosos y de donaciones) y de la Biblioteca Municipal.