Els orígens del port es remunten al segle XV. Anirà creixent en segles posteriors fins a arribar al XIX, quan triomfa amb l'exportació de la pansa. Al voltant del port es va desenvolupar un barri amb un caràcter mariner ben marcat, amb casetes de pescadors emblanquinades de planta baixa i carrers estrets. L'encant d'aquest barri és realçat per l'escultòrica silueta de l'església de la Nostra Senyora de Loreto, inaugurada en 1967, important exemple de l'arquitectura religiosa d'avantguarda, que destaca per un disseny atrevit de les línies i la concepció de l'espai. 

Un altre edifici que cal destacar al port és la Casa del Cable (1860), de la qual només es conserven els pilars de la naia, que s'ha rehabilitat per a sala d'exposicions. Duanes de la Mar és un dels barris més animats durant tot l'any. Entre els carrers podem trobar tota mena de botigues, restaurants i altres serveis. L'arribada dels vaixells, la subhasta i posterior venda de peix en la llotja s'han convertit en un reclam imprescindible per als nostres visitants. Al costat del port, el Club Nàutic ofereix diverses opcions per als amants dels esports aquàtics. (1)

(1) Informació extreta de la web de turisme de Xàbia.