Sembra che gli Agostiniani incominciassero ad abitare a Gravina nel 1553 in un luogo distante dalla città, e che nel 1633 si trasferissero in un vecchio monastero benedettino, in una zona pure essa solitaria e mancante di conforti, dove officiarono la chiesa dei santi Rocco e Vito. La comunità, in quel convento, ebbe vita grama e difficile a causa soprattutto dell’insalubrità del luogo e della presenza dei malviventi, che il più delle volte si rifugiavano nel convento per trascorrervi la notte. Determinarono quindi di abbandonare quel luogo per sceglierne uno all’interno della città. Fu scelta la località detta «porta di basso» entro la città, non troppo lontana dal centro cittadino. Il luogo prescelto possedeva una vecchia chiesa, dedicata a S. Antonio da Vienna. Gli agostiniani, prima di trasferirsi, pensarono di costruire una sede dignitosa. Rifecero la chiesa, che si chiamò chiesa di S. Agostino», e lì vicino fu costruito, col tempo e secondo le disponibilità economiche, un grande convento. Ad aumentare il prestigio della comunità contribuì la nomina a vescovo della città di Gravina del Padre Generale dell’Ordine, padre Domenico Valvassori di Milano. I frati agostiniani furono costretti ad abbandonare la loro sede di Gravina nell’anno 1810. Nel 1819 Ferdinando IV permise il ritorno dei frati nelle loro sedi, ma gli Agostiniani non ritornarono più a Gravina.