El Colegio Menor de la Visitación de Nuestras Señora de Mercedarios Descalzos fue fundado, bajo el mecenazgo don Baltasar de Villalobos, en el año 1612.

El edificio, situado enmarcando la plaza del Empecinado y semioculto por el monumento a dicho guerrillero, fue construido entre los años 1650 y 1683 y a la inauguración de su iglesia, cuenta la tradición, asistió la beata Mariana de Jesús.

l colegio fue clausurado el año 1836, con la Desamortización, y fue transformado en el Primer Depósito de Sementales.

Se conservan de él la portada principal y el claustro.

No sobrevivieron, sin embargo, la portada del templo, que fue desmantelada, ni las capillas con las que contaba, demolidas cuando fue transformado en picadero cubierto, ni la hermosa bóveda con la que contaba, que no pudo resistir dichas transformaciones.