Un’antica tradizione assegna ai Monaci Cassinesi l’edificazione del primo convento. Stando alla medesima tradizione, ripresa da Don Rocco Cinollo in un manoscritto del 1924, i Cassinesi avrebbero lasciato Levanto prima del secolo XV forse per deficienza di soggetti. Verso la fine del’500 gli eremiti agostiniani di Punta Mesco si trasferirono nella zona della Porta dell’Acqua, all’interno del borgo, ove acquistarono (o venne loro alienata dalla Municipalità o da qualche benefattore), un apprezzamento di terreno con due case dirotte per costruirvi un convento ed una chiesa. Il complesso venne ultimato a metà Seicento e, all’inizio dell’Ottocento, ai tempi delle soppressioni napoleoniche, fu alienato al Comune di Levanto che trasformò il primo piano in ospedale e il secondo in scuole elmentari ed uffici comunali. Nel 1840 l’edificio fu in parte abbattuto per consentire la costruzione della ferrovia, e tra il 1912 ed il 1913, fu completamente ristrutturato e trasformato in asilo infantile ed in ospedale. Nel corso degli anni Sessanta del XX secolo, con lo spostamento del nosocomio in località Madonna della Guardia, l’ex Convento degli Agostiniani fu adibito a Casa di Riposo per Anziani, e tale è rimasto fino al 1998, quando sono iniziati i lavori di ristrutturazione finanziati dalla legge sul Giubileo (e in parte dall’Amministrazione Comunale) ultimati in primavera 2000. L’edificio oggi Ostello della Gioventù denominato "Ospitalia del Mare" è in parte destinato ad ospitare i pellegrini del Giubileo del 2000, mentre in alcuni spazi saranno allestiti esposizioni permanenti sulla storia e l’arte di Levanto. Un discorso a sé merita l’auditorio, posto nella parte occidentale dell’edificio. Nel corso dell’intervento attuato a partire dal 1998 e nella fase di studio che lo ha preceduto sono state rinvenute alcune emergenze degne di interesse: al primo piano, un soffitto ligneo e una loggetta (probabilmente entrambi del XV secolo), alcuni schizzi preparatori per disegni (in uno dei quali si legge, anche se con qualche difficoltà, una scena forse relativa al porto levantese) ed una serie di piastrelle in ceramica formanti una scritta dedicatoria a Papa Giulio II. Al piano terra, un corridoio a forma di galleria (trasversale e circa in mezzeria dell’edificio) lungo quanto lo stesso, intersecato sui due lati da portali ad arco acuto in peridotite (che richiama la parete della darsena), il locale adibito a magazzino del sale, con parete interne databili al XVIII secolo ed alcune parti della chiesa seicentesca. Si segnala all’attenzione del visitatore il soffitto ligneo dipinto rinvenuto al primo piano e restaurato completamente. Si tratta probabilmente, sotto l’aspetto storico-artistico, di un ritrovamento significativo, particolarmente per i disegni su travi portanti principali, raffiguranti scene di caccia.