Josepa Doménica Català de Valeriola (1764-1814), más conocida como la duquesa de Almodóvar, fue una aristócrata con un gran listado de títulos en su haber. En cuanto a la Marina Alta, era baronesa de Xaló y Llíber y señora de Gata de Gorgos. Considerada la mujer más rica de Valencia, era una mujer ilustrada, con carácter emprendedor e inquieto. Trabajó activamente en la educación del pueblo, con proyectos de alfabetización. A su muerte, dio parte del patrimonio para financiar la construcción de escuelas para paliar el analfabetismo de los más humildes.

El palacio no fue construido en el s. XVIII, sino mucho antes, tal como indica la inscripción de su muro, en lo alto del palacio, donde podemos leer la fecha de construcción de 1598.

Actualmente, la antigua casa palacio está formada por dos grandes casas en la calle Major con los números 7 y 9, las cuales todavía conservan en su fachada el estilo señorial y el rango de las casas de las personas más ricas de la población.

La casa palacio también tuvo una torre, en la actualidad desaparecida y que según la familia Server Giner estaría situada a la parte superior del actual bar que hay en la calle Església. Sabemos de la existencia de la torre porque hay un certificado conservado en el Archivo de la Diputación Provincial de València que data del 30 de octubre del año 1709, en el cual se deja al rector de la iglesia de Xaló el depósito de una campana de la torre del palacio de la Vila con la condición de que siempre que el conde lo necesite, le sea devuelta la campana a su palacio. (1)

(1) Vall de Pop (2018) Casa Palau Duquesa de Almodovar. Va de sentits. https://www.vadesentits.com/casa-palau