Cuenta la historia que, por el año 1085 d. J.C., el rey Alfonso VI encargó al arzobispo de Toledo, don Bernardo de Agen, la reconquista de la antigua Complutum, que se hallaba bajo el dominio musulmán.

Tras no pocos esfuerzos tomó éste la población, pero no fue capaz, pese a sus muchos intentos, de hacer caer la fortaleza, denominada Al Qal'at, que se hallaba en el alto de un cerro. La sometió a prolongado y encarnizado asedio pero ésta resistía.

Cansado de la situación, decidió el arzobispo realizar el ataque definitivo el día 3 de mayo del 1118. Esa mañana arengó a sus tropas recordándoles que era el aniversario de la Exaltación de la Santa Cruz, pues tal día como aquel fue encontrada, por la Emperatriz Santa Elena, la verdadera cruz de madera donde fuera clavado y muriera Jesucristo.

Así pues, se inició la batalla y las tropas cristianas no conseguían su objetivo. Cuando el desánimo estaba haciendo aparición en el ejército del arzobispo, porque las bajas eran muchas y los resultados pocos, se les apareció en lo alto del cerro que sobre la fortaleza había una blanca cruz que parecía guiarles hacia la victoria.

Las tropas recobraron así el ánimo y volvieron con fuerzas renovadas tomando esta vez sí la fortaleza que nunca más pasaría a manos musulmanas.

En recuerdo a este suceso el cerro, hasta entonces llamado de Zulema, pasó a denominarse de la Vera Cruz y se levantó en él una ermita bajo esta advocación.