El Ràfol d’Almúnia és la capital històrica de la zona coneguda com la Rectoria, formada pel Ràfol d’Almúnia, Benimeli, Sanet i els Negrals, Sagra i Tormos. El poble es diu així perquè al Ràfol d’Almúnia estava l'única església dels cinc pobles creada en 1535 pel senyor de la zona, el marqués d'Almúnia, per a contrarestar l’absoluta ascendència musulmana dels habitants de la localitat. 

El veïnat del Ràfol d’Almúnia, l’any 1646, estava format per 15 cases:

• Casa Bertomeu Catalá.
• Casa Pere Ferrando.
• Casa Bertomeu Vilanova.
• Casa Franses Pastor.
• Casa Juan Gil Pastor.
• Casa Rafael Ballester.
• Casa de Antoni Ferrer.
• Casa Viuda Jaume Rovira.
• Casa Gabriel Ferrer.
• Casa Vicent Siscár.
• Casa Pere Nadal.
• Casa Pere Torrent.
• Casa Juan Llull.
• Casa Juan Ballester.
• Casa Mossén Agustí Pont Retor.