Anthropic, l’allarme di Amodei sull'IA: “Potrebbe superare la nostra capacità di gestione”

AGI - Il numero uno di Anthropic, Dario Amodei, ha invitato a rallentare il ritmo di sviluppo dell'intelligenza artificiale. "Dobbiamo rallentare il ritmo con cui miglioriamo le capacità dei modelli di IA. I progressi continueranno a sembrare rapidi, e dobbiamo fare un uso saggio del tempo che guadagniamo", ha scritto Amodei in un lungo post pubblicato sul suo sito web in cui ha ricordato anche l'incidente verificatosi a luglio presso OpenAI.

Il messaggio arriva pochi giorni dopo che un ricercatore di Anthropic, Jacob Coxon, ha annunciato di lasciare la start-up californiana, accusandola di minimizzare il rischio esistenziale che l'IA rappresenta per l'umanità.

I rischi dell'auto-miglioramento ricorsivo

Amodei ha affermato che la tecnologia dell'IA ha registrato progressi "drasticamente più rapidi" negli ultimi mesi ed è ormai in grado di migliorarsi autonomamente, una dinamica nota come "auto-miglioramento ricorsivo". "Se lasciata senza controllo, potrebbe superare la nostra capacità di comprendere e controllare questi sistemi, e pertanto deve essere perseguita con estrema cautela, se mai lo si dovesse fare", ha avvertito.

Comportamenti allarmanti ed evoluzione incontrollata

Il manager ha aggiunto che anche il comportamento di un gruppo di agenti di IA nell'incidente che ha coinvolto OpenAI e Hugging Face lo ha allarmato; "hanno agito essenzialmente come un collettivo fanaticamente devoto, sferrando attacchi alla sicurezza informatica contro obiettivi che non era stato incaricato di attaccare".

Se non controllata, l'IA potrebbe evolversi così rapidamente che gli agenti potrebbero essere in grado di prendere il controllo dell'intero Internet entro sei-dodici mesi, ha scritto, causando potenzialmente danni per centinaia di miliardi di dollari.

La corsa al ribasso e i pericoli sistemici

Amodei, a capo di una delle principali aziende al mondo nel campo dell'intelligenza artificiale e della società che ha creato Claude, è stato un forte sostenitore del progresso di questa tecnologia ed è stato anch'egli accusato di "catastrofismo" per i suoi avvertimenti sui rischi dell'IA. Il manager ha riconosciuto che le persone potrebbero perdere il controllo sull'IA e che la tecnologia può essere utilizzata in modo improprio per "attacchi informatici, bioterrorismo e gravi perturbazioni economiche". "Una corsa al ribasso, alimentata da incentivi commerciali, può rendere questi rischi ancora più acuti", ha scritto ancora Amodei.

All'inizio di agosto, il governo statunitense ha istituito un quadro di supervisione che prevede la valutazione, su base volontaria, dei nuovi modelli di IA prima del loro lancio. Tuttavia, questo sistema rimane poco chiaro. Molti ne mettono in dubbio l'efficacia, dato che Donald Trump si è regolarmente dichiarato contrario a qualsiasi misura che rallenti lo sviluppo dell'IA negli Stati Uniti, sia che si tratti del lancio dei modelli sia della costruzione dei centri dati.

Le proposte per la sicurezza globale dell'IA

Amodei formula anche diverse proposte, in primo luogo l'integrazione di osservatori indipendenti all'interno delle aziende leader nel settore dell'IA. Gli osservatori avranno gli stessi accessi dei dipendenti dell'azienda e potranno verificare che la start-up rispetti effettivamente i propri impegni, segnalare eventuali nuovi incidenti e monitorare la gestione dei modelli per evitarne gli abusi. Il manager sostiene inoltre la collaborazione tra le aziende più all'avanguardia per definire standard di sicurezza comuni. Si dichiara inoltre favorevole a una forma di coordinamento politico tra tutte le principali nazioni nel campo dell'IA.