Il 1286, data della fondazione cagliese è offerta dalla Relazione del 1650: «Situato dentro la città di Cagli che fa angolo in due strade pubbliche in vista della piazza. Il suo fondamento non ha memoria dell'origine, che perciò nata controversia sopra la precedenza con li padri francescani l’anno 1600 fu da monsignor vescovo per ordine della Sacra Congregatione determinato che debbano precedere con l’alternativa annuale in ogni attione. Si trova però nell'archivio del Pubblico la resolutione fatta l'anno 1286 che si portò l'offerta a S. Agostino e poi dell'anno 1299 in un altro Consiglio publico si determina che si porti l’offerta alli frati di S. Agostino il giorno della festa conforme al solito, mà né meno si sa con qual’auttorità, assegnamenti, oblighi e pesi fusse eretto». Tale datazione è sostanzialmente confermata dai documenti finora conosciuti.
Dalla medesima fonte si desume anche la conformazione seicentesca: «È di struttura di fabrica per un verso di piedi communi 150 e per l’altro 120 et in esso vi si comprende la chiesa lunga piedi 76 e larga 26 con 11 altari e portico avanti largo piedi 15 et choro da cima largo piedi 10 con la sacrestia di piedi 15 per ogni verso e campanile in forma di torre di piedi 10 per ogni parte con 3 campane, e si comprende anco il dormitorio lungo piedi 100 e largo 30 con 14 stanze ò celle, e sotto di esso vi sono il refettorio, granaro, cucina e cantina, e contiguo alla chiesa ò dormitorio vi è il claustro lungo piedi 76 per un verso et 84 per l’altro con una larga e profonda cisterna nel mezzo, mà non è compito altro che da tre parti e verso la strada vi è la stalla con l’infermeria sopra di piedi 15 per ogni verso, e vi sono tre stanze contigue dell’istessa capacità che pure sono imperfette senza tetto e soffitta». 
Fu soppresso nel 1652 a causa della mancanza di religiosi, l’anno successivo, grazie all’acquisizione dei beni della chiesa di San Pietro e al lascito del proposto della cattedrale Orazio Domberti, fu trasformato dal vescovo Trasi in palazzo del Seminario della diocesi di Cagli. Fu inaugurato nel 1654 sotto il titolo di San Geronzio e chiuso dal vescovo Ludovico Bertozzi nel 1775 per lavori di consolidamento e di ristrutturazione dell’antica struttura conventuale realizzati su disegno dello stesso Bertozzi. Tali lavori si conclusero nel 1807 e determinarono l’abbattimento del chiostro. 
Due alte paraste stringono il portale centinato lapideo rimarcando nel vasto prospetto l’accesso principale, a lato di cui era posta nel 1845 una colonna reggente una croce di ferro proveniente dal soppresso convento di San Pietro fuori le mura. Della configurazione originaria si conservano il refettorio con orditura lignea a vista e la biblioteca con copertura a botte e decorazioni molto deteriorate. Anche la chiesa di Sant’Agostino fu ristrutturata alla fine del Settecento e cambiò destinazione nel 1841: il piano superiore fu adibito a dormitorio dei seminaristi, quello inferiore in parte a fienile e in parte a cantina.

Tiziana Marozzi