En el segle XVII, l'interés religiós de la contrareforma va afavorir la creació i construcció de convents. L'any 1616, Lluc Espanyol, un xabienc devot i piadós, va fer una donació de sis fanecades, fora de les muralles de la vila, amb la finalitat de construir el Convent Mínim de Nostra Senyora de la Victòria i Sant Francesc de Paula.

Amb el pas dels anys, es creà al voltant del convent un gran raval, indicador del creixement urbanístic i demogràfic del poble. El convent estava format per diverses dependències, entre les quals destacava el claustre de dues plantes d'estil renaixentista i l'església, amb una gran façana de tosca, recta i vertical oberta a la plaça. Tot aquest conjunt es va veure afectat per les lleis desamortitzadores del segle XIX i es va cedir a l'Ajuntament en 1841 per a “escoles, càtedra de llatinitat, presó i almodí”. Destruït en 1936, l'Ajuntament va permutar aquest solar que ara ocupa el mercat.

Sobre aquest ampli solar, es va construir l'any 1946 l'actual convent destinat a acollir la comunitat de les Agustines Descalces, i es va abandonar definitivament en 2003.