Andrea nacque a Lalatta di Palanzano nella provincia di Parma, il 13 agosto 1850, primo di quattro figli, da una famiglia contadina profondamente religiosa. A sedici anni entrò nel seminario di Parma per gli studi liceali. Nel 1873 venne ordinato sacerdote e inviato, come pastore d’anime a Mariano e poi a Fornovo Taro. Richiamato a Parma nel suo seminario, a soli ventisette anni ne divenne rettore. A trentacinque anni, fu nominato pro-vicario generale e ricoprì questa carica fino al giugno 1890, quando fu consacrato vescovo. Resse dapprima la Chiesa di Guastalla, poi quella di Como: amato e stimato per la straordinaria attività, lo zelo e la pietà.
Nel febbraio 1894 fu chiamato alla sede di Milano. In questa vastissima diocesi, ricca di iniziative e di risorse, ma anche lacerata da numerose problematiche, Andrea Carlo Ferrari (prese il nome di Carlo in onore di san Carlo Borromeo) cercò di prendere contatto con tutti attraverso accurate visite pastorali: con la sua dolce ma ferma parola, conquistò la stima e l’affetto di tutti. Per affrontare i numerosi problemi della diocesi, convocò tre sinodi diocesani e un concilio provinciale. Promosse il Congresso Eucaristico nazionale, quello di Musica Sacra e quello catechistico.
Ebbe molto a cuore la formazione del clero, e per i diversi problemi pastorali, legati ai nuovi fermenti sociali che agitavano il mondo del lavoro, istituì, presso il seminario diocesano, la cattedra di economia sociale. Particolare attenzione ebbe per i giovani, sostenendo con tutto il suo appoggio l’associazione "Unione giovani" che tanto bene fece non solo nella Chiesa ambrosiana, ma anche in tutto il Paese. Sotto la sua protezione, nel 1918, nacque la "Gioventù femminile di Azione Cattolica". Si deve anche ricordare la fondazione di quell’opera di assistenza sociale che la lui prese il nome, e la costituzione dell’Università Cattolica del Sacro Cuore.
Le agitazioni sociali del 1898 e l’accusa di favorire il modernismo, furono motivi per il Cardinal Ferrari di gravi incomprensioni e di profondo dolore, ma dalle visite apostoliche emerse più che mai luminosa la integrità della sua fede e la sua rettitudine. Il suo episcopato fu segnato dalla prima guerra mondiale, che portò con sé gravi lutti e sofferenze. La sua inesauribile carità raggiunse orfani, vedove, soldati, prigionieri. Egli trasformò l’arcivescovado in quartiere generale del Comitato per l’assistenza religiosa ai cappellani e ai soldati al fronte; due dei tre seminari divennero ospedali militari; lo stesso fece con i collegi vescovili, istituti religiosi e chiese secondarie, che servirono come deposito di medicinali e indumenti per i poveri. Colpito da cancro, morì il 2 febbraio 1921. Il suo corpo riposa in Duomo, all’altare del Sacro Cuore di Gesù. Il beato Card. Schuster disse di lui che fu "colui che dopo san Carlo ha lasciato nella diocesi una più luminosa scia di santità nel governo pastorale, in tempi assai burrascosi e in un’atmosfera non sempre favorevole".