Una leyenda curiosa atribuye el nombre Nazaré a una imagen de la Virgen transportada desde Nazareth, en Palestina, por un monje greco hasta el monasterio de Cauliniana, cerca de Mérida, en el siglo IV.

En el siglo VIII tendría llegado al monasterio el forajido Rey D. Rodrigo, ultimo rey godo de la Península, después de su derrota frente a los moros en Guadalete. En el monasterio tendría encontrado a Fraile Romano que acompañó al rey en su fuga, trayendo con ellos la imagen de la Virgen y una caja con las reliquias de San Blas y San Bartolomé.

Antes de morir el Fraile escondió la imagen en una lapa del Promontorio de Sítio, donde quedó olvidada por 4 siglos, hasta que fue descubierta por algunos pastores que pasaran a venerarla.

La leyenda cuenta que el alcalde del castillo de Porto de Mós, D. Fuas Roupinho, cazaba en esas tierras por una mañana de niebla de septiembre de 1182 cuando, persiguiendo un ciervo, este desapareció repentinamente en el abismo. Consciente del peligro que corría, el noble caballero invocó el nombre de la Virgen de Nazaré y luego el caballo estacó, salvando la vida al hidalgo. En acción de gracias, ordenó la construcción de la pequeña capilla de la Memoria.

Venerada desde entonces la imagen tendría originado el nombre del lugar – Sítio de Nuestra Señora de Nazaré.