Non si sa quando gli Agostiniani abbiano preso posto fuori le mura di Trani. Comunque nei primi decenni del 1500 si trasferirono in città, al sicuro dalle incursioni delle soldatesche nemiche. Ottennero in concessione l’edificio attiguo alla chiesa di S. Sebastiano eretta da pochi anni. Si può dire che il convento, partendo dal nucleo cinquecentesco, si sia andato ampliando sistematicamente nel corso dei secoli XVII e XVIII, in rapporto alle possibilità economiche della comunità. Fino alla soppressione del 1809.