Au XIIIème siècle, les Hospitaliers de St. Jean de Jérusalem installent à l’entrée du port une forteresse et une commanderie. La Tour Carrée est construite par le roi René, comte de Provence, au XVème siècle.
La tour du Fanal, bâtie en 1644, signalait l’entrée du port. Louis XIV, au XVIIème siècle sépare le fort de son quartier en creusant une large tranchée, et tint ainsi les Marseillais en respect en bâtissant de l’autre côté l’entrée du port, le Fort St. Nicolas.