Originario della Toscana, diacono della Chiesa di Roma, Giovanni fu eletto al pontificato alla morte di papa Ormisda nel 523. Rimase in carica per soli trenta mesi, ma il suo breve pontificato va ricordato per diversi titoli di merito: introdusse l’era cristiana, iniziando la datazione non più dalla fondazione di Roma, ma dalla nascita di Cristo; promosse il canto sacro e la riforma liturgica, fissando la data per la celebrazione della Pasqua; restaurò a Roma chiese e cimiteri e indisse diversi concili, fra i quali è celebre quello di Orange (529) che mise fine alla controversia sulla grazia.
Causa del suo martirio fu il contrasto in cui venne a trovarsi con il grande Teodorico, barbaro innamorato della romanità, che lo inviò in Oriente presso l’Imperatore cattolico Giustino a perorare la causa degli ariani. Ma poiché i risultati non furono quelli che aspettava, Teodorico convocò il papa a Ravenna e lo fece imprigionare. E in prigione, dopo pochi mesi, papa Giovanni morì, il 18 maggio 526, “vittima di Cristo”, come si legge nell’iscrizione tombale.