El castell de la Serrella s'alça a 1.050 metres d'altitud sobre una posició rocosa de difícil accés anomenada penya del Castellet, en el terme municipal de Castell de Castells, a la comarca de la Marina Alta, controlant la unió de les valls de Castells i Guadalest.

L'accés al castell es fa amb dificultat. Per a arribar a les ruïnes, cal eixir de Castell de Castells per la carretera CV-752 en direcció El Castellet i agafar un camí senyalitzat a la dreta cap al Castellet i Penya Castellet, amb les marques de colors blanc i groc. Després de passar una casa al costat dret, cal desviar-se a la dreta per la pista, seguir les marques de colors blanc i groc i una pista més estreta a l'esquerra que, poc després es converteix en una senda que gira a l'esquerra i comença a seguir el barranc de Gaspar. La senda puja a un camí de terra on hi ha senyals. Gireu a l'esquerra cap a Penya Castellet i podreu veure les ruïnes del castell en el cim de la penya, al costat dret.

Tant el castell com la població són d'origen musulmà. És un dels castells més citats en el Pacte del Pouet firmat al castell d'Alcalà.

En 1254, va ser conquerit per Jaume I, en 1290 va prendre possessió del lloc Bernat de Sarrià, i posteriorment va passar a les mans de l'Orde de Calatrava. 

El decret d'expulsió va provocar ací alçaments i revoltes, fins que es van sufocar en la batalla del Pla de Petracos. 

La repoblació es va fer amb cristians mallorquins. El castell degué quedar abandonat en data primerenca, després de la conquesta cristiana.

La fortificació està formada per dos recintes, un en el cim i un altre en la zona rocosa. Les restes que han arribat fins als nostres dies són escasses, entre les quals hi ha alguns llenços de muralles mig derrocades, un aljub i la part inferior d'algunes torres, en què destaca la més gran, que corona la muntanya.