L'ermita de Sant Josep es troba a l'inici del passeig de Cervantes, en la confluència amb els carrers Sant Josep i Pla de la Font. Es troba a la part sud del nucli urbà de Pego, a prop dels terrenys del camp de futbol.

La zona on es troba era un antic raval morisc conegut com a Atzeneta o Atzaneta. Cap a l'època de la construcció de l'ermita, que es va concloure en 1677, el creixement urbà de la vila ja estava integrant aquest raval en el nucli urbà, del qual formaria part prompte.

L'edifici que hui coneixem, tanmateix, es correspon amb una profunda reforma duta a terme els primers anys del segle XX. Des de principis del segle XXI, el temple s'ha beneficiat de diverses intervencions que han sanejat els elements, s'hi han creat dependències annexes i s'hi han descobert pintures originals ocultes baix de la lluïda.

Es tracta d'un edifici de planta rectangular molt allargada amb coberta de teules de dos aiguavessos. Està adossat pel fons i el lateral esquerre a habitatges particulars. El costat dret, en el qual s'obrin finestres altes, recau al passeig de Cervantes. La façana, que en un cantó té annexa una dependència menuda, està precedida per una espècie de terrassa delimitada per un muret. Aquesta façana és quadrangular, amb sòcol de pedra, i queda dividida en dues meitats per una imposta horitzontal que la recorre íntegrament. A sobre, hi ha un retaule ceràmic amb una imatge de Sant Josep amb el Xiquet i, immediatament per damunt, s'obri un arc de mig punt i una finestra que il·lumina el cor. L'espadanya alberga una campana batejada cap al 1945 com a Nostra Senyora dels Desemparats. La porta d'accés, amb motius al·lusius al sant titular, s'emmarca en portada llisa de pedra amb arc escarser.

A l'interior, els espais que queden entre els contraforts delimiten capelles laterals comunicades entre si. Trobem el cor i, després, un presbiteri elevat sobre grada amb dependències laterals a manera de sagristies. Aquest presbiteri queda anunciat per un arc de mig punt amb imatges possiblement contemporànies de la fundació de l'ermita i que una restauració recent han tret a la llum després de romandre cobertes durant més d'un segle. Altres pintures decoren l'altar, presidit per imatge de sant Josep amb el Xiquet al braç en la fornícula d'un retaule neoclàssic.

L'ermita té servei de misses habitual els festius de tot l'any. També alberga actes i celebracions diverses durant les festivitats falleres i la Setmana Santa.