Hay una noticia de una necrópolis prehistórica en estas cavidades recogida en 1919 en la que se cita la existencia «d′una necròpoli prehistòrica en les dues obertures en la pedra de la Roca dels Ermitans». En la actualidad las supuestas aberturas están totalmente vaciadas. No hay restos de las citadas sepulturas.

El topónimo es debido a que en la Edad Media, había religiosos anacoretas que se retiraban a lugares solitarios a orar, siendo éste uno de ellos. A este lugar también se le conoce con el nombre del "Racó del Flare", en cambio, la gente de masías cercanas, como el "mas de Roca", a esta cavidad le denominaban "Forat d′Orenga", que era el nombre de un miembro de una familia de los que habitaron la cavidad en su día. La cavidad también fue habitada en los siglos XVIII y XIX, conservándose aún un bancal de piedra de esa época.