El castillo de la Serrella se levanta a 1.050 metros de altitud sobre una posición rocosa de difícil acceso denominada Penya del Castellet, en el término municipal de Castell de Castells, en la comarca de la Marina Alta, controlando la unión de los valles de Castells y Guadalest.

El acceso al castillo se hace con dificultad. Para llegar a sus ruinas, hay que salir de Castell de Castells por la carretera CV-752 en dirección El Castellet y tomar un camino señalizado a la derecha hacia el Castellet y Penya Castellet, con las marcas de colores blanco y amarillo. Después de pasar una casa al lado derecho, hay que desviarse a la derecha por la pista, seguir las marcas de colores blanco y amarillo y una pista más estrecha a la izquierda que, al poco, se convierte en una senda que gira a la izquierda y empieza a seguir el barranco de Gaspar. La senda sube a un camino de tierra donde hay señales. Girad a la izquierda hacia Penya Castellet y podréis ver las ruinas del castillo en el pico de la peña, al lado derecho.

Tanto el castillo como la población son de origen musulmán. Es uno de los castillos más citados en el Pacte del Pouet firmat al castell d'Alcalà.

En 1254 fue conquistado por Jaime I, en 1290 tomó posesión del lugar Bernat de Sarriá, y posteriormente pasó a manos de la Orden de Calatrava.

El decreto de expulsión provocó en este lugar levantamientos y revueltas, hasta que fueron sofocadas en la batalla del Pla de Petracos. La repoblación se realizó con cristianos mallorquines.

El castillo debió de quedar abandonado en fecha temprana, después de la conquista.

La fortificación está formada por dos recintos, uno en la cumbre y otro en la zona rocosa. Son escasos los restos que han llegado hasta nuestros días, entre ellos algunos lienzos de murallas semiderruidos, un aljibe y la parte inferior de algunas torres, destacando la mayor, que corona la montaña.