Dalt de la serra de Segària hi ha les restes de les terrasses àrabs i del castell del príncep àrab, construïts, segons els historiadors, sobre les restes d'un antic poblat ibèric. Al costat hi ha una roca plana que, segons conta la llegenda, era la cadira del rei moro Abd-al-Màlik al-Mudhàffar. El castell, els aprofitaments del qual administrava el capità Carròs, senyor del Rebollet l'any 1257, va ser un magnífic refugi natural creat per a poder defendre els llocs de Sagra, el Ràfol d’Almúnia, Benimeli i Sanet i els Negrals. També hi ha un buit rectangular en terra, d'uns 10 centímetres de profunditat, on es col·locava el pal que sostenia la bandera.

Des d'aquest lloc s'albira la vall de la Rectoria, Dénia, Eivissa, Oliva, Gandia i Cullera. Era un punt estratègic per a poder avisar de possibles atacs al castrum. Abans d'arribar a la Cadireta del Rei Moro cal passar per una cova xicoteta que s'utilitzava per a actes religiosos, en què s'han trobat restes d'objectes valuosos. No fa molt de temps, a principis del segle XX, tot l'entorn d'aquest punt eren bancals d'ametlers i garrofers.