A primeira ermida que existiu, perto deste local, foi construída em 1147 após a reconquista da cidade de Lisboa. Foi dedicada a São  Gens  que tinha sido bispo da cidade muito antes da reconquista e que teria sido martirizado neste local. Os frades Agostinhos, que tomaram contam da ermida, colocaram no seu interior, a cadeira de pedra que pertencera ao santo. À volta desta cadeira surgiu uma lenda segundo a qual, as senhoras grávidas que lá se sentassem, tinham partos sem complicações. A própria mulher de D. João V, D. Maria Ana de Áustria, foi lá sentar-se quando estava grávida do herdeiro do trono.

Após o terramoto de 1755 que foi devastador em toda a zona circundante, a ermida ficou praticamente destruída. A actual ermida, foi construída em 1796, um local um pouco mais acima do local original e é obra do arquitecto Honorato José Teixeira. No seu interior foi de novo colocada a cadeira de São Gens