Sapienza lancia Minerva 7B, la nuova versione della sua 'ChatGBT', ecco cosa fa

AGI – Minerva – la ‘ChatGBT' della Sapienza – raddoppia le sue capacità con un numero di token pari a 15 milioni di libri e lancia una nuova  sfida: creare un laboratorio permanente nel campo dell'Intelligenza artificiale. E' stato annunciato oggi il rilascio di Minerva 7B, l'ultima versione della famiglia dei modelli Minerva, i Large Language Model (LLM) addestrati “da zero” per la lingua italiana.

Il nuovo modello è stato realizzato dal gruppo di ricerca Sapienza NLP (Natural Language Processing), guidato da Roberto Navigli docente di Ingegneria Informatica, Automatica e Gestionale, all'interno di FAIR (Future Artificial Intelligence Research), il progetto che realizza la strategia nazionale sull'intelligenza artificiale grazie ai fondi PNRR, e in collaborazione con CINECA che ha reso disponibile il supercomputer Leonardo. “Minerva – spiegano i relatori - è il primo, e a oggi unico, modello completamente aperto, che si presta a essere utilizzato dalle Pubbliche Amministrazioni, proprio per la trasparenza delle fonti e del processo di addestramento.

Le differenze con la versione precedente

Minerva 7B è una versione più potente di quella messa in rete lo scorso aprile, forte di 7 miliardi di parametri contro i 3 della precedente, e quindi con maggior capacità di memorizzazione e rielaborazione dei testi, sempre basata su fonti aperte di dati, elemento distintivo nel panorama degli LLM.

Dopo oltre 5 mesi di lavoro incessante, il team di ricerca è approdato a questa nuova versione per un totale di oltre 2 trilioni (migliaia di miliardi) di token, corrispondenti a circa 1,5trilioni di parole. Mediante un nuovo mix di istruzioni create appositamente in italiano, Minerva 7B è stato sottoposto al cosiddetto processo di instruction tuning, una tecnica avanzata di addestramento per i modelli di intelligenza artificiale che mira a fornire la capacita' di seguire le istruzioni e di colloquiare con l'utente in italiano. 

Sottoposto al cosiddetto processo di instruction tuning, una tecnica avanzata di addesrvatramento per i modelli di intelligenza artificiale che mira a fornire la capacità di seguire le istruzioni e di colloquiare con l'utente in italiano. Grazie appunto all'instruction tuning Minerva è in grado di interpretare meglio le richieste e di generare risposte più pertinenti, coerenti e adattate al contesto, evitando per quanto possibile le cosiddette allucinazioni e la generazione di contenuti di tipo volgare, sessuale, discriminatorio e sensibile. Si tratta di un tema cruciale che riguarda tutti i chatbot, particolarmente sentito dai ricercatori del team della Sapienza.

Gli ingredienti di Minerva 7B

Per realizzare il modello base i ricercatori hanno utilizzato tre ‘ingredienti':

• Un enorme corpus di testi (dal Web)
• Una grande rete neurale
• Un'elevata capacità di calcolo grazie al supercomputer Leonardo

Minerva 7B è stata poi perfezionata con l'Instrucion tuning e l'allineamento.

I numeri di Minerva 7B

• 2.500.000.000.000 di token
• 580mila esempi di instruction tuning
• 7,4 miliardi di parametri
• 21mila istruzioni di safety
• Oltre 300mila ore GPU di addestramento
• Benchmark con 18 task per la valutazione in italiano

Il laboratorio permanente

In che direzione sta andando Minerva? “Abbiamo in mente un progetto”, spiega Navigli. Si tratta di un laboratorio permanente per valorizzare “il know how e lo sforzo e per accrescere il percorso. Voglio restare con la mia squadra un baluardo per tutte queste tecnologie di IA rigenerativa”.

 “Il nostro impegno – prosegue - è continuare a lavorare per massimizzare la sicurezza e gli aspetti conversazionali in una sorta di laboratorio permanente, con la consapevolezza scientifica che il rilascio di oggi non è un traguardo ma un punto di partenza. La scarsità di dati di qualità in italiano, sia per il preaddestramento linguistico che per le conversazioni e le istruzioni, è uno dei temi chiave che intendiamo affrontare nei prossimi mesi. In quest'ottica auspichiamo che il progetto possa crescere aprendosi a nuove collaborazioni, coinvolgendo ad esempio il mondo editoriale ed enti pubblici per l'impiego di Minerva in ambiti istituzionali.

 “La Sapienza ha una lunga tradizione di eccellenza nell'ambito della ricerca tecnologica e scientifica”, dichiara Antonella Polimeni, rettrice dell'ateneo. “Negli ultimi anni, abbiamo rafforzato il nostro impegno nello sviluppo di competenze avanzate in settori strategici come l'intelligenza artificiale, promuovendo un approccio interdisciplinare che combina il rigore accademico con una visione orientata all'innovazione. Con il progetto Minerva, confermiamo la nostra missione: essere un motore di innovazione e progresso al servizio della società e del futuro.”

Perché è importante Minerva per l'Italia?

• E' il primo LLM preaddestrato italiano, creato da un'università pubblica
• Creazione e accrescimento di Know-how pubblico su tecnologie strategiche
• Grazie alla sua natura open sarà la base oer le progettualità delle PA
• Rilasciamo ITA-Bench: il primo grande benchmark italiano con 18 task
• Termine di paragone per i modelli a venire

Ne è convinto anche Giuseppe De Pietro, presidente di FAIR - Future AI Research: “La realizzazione di Minerva, oltre a costituire un risultato scientifico di indubbio valore, rappresenta un'esperienza di successo del modello di cooperazione tra la Fondazione ed i propri soci. FAIR, infatti, ha tra i suoi compiti quello di supportare le attività e i prodotti di eccellenza della ricerca svolta all'interno del partenariato, come Minerva e molti altri. Crediamo davvero che Minerva abbia tutte le potenzialità per diventare il Large Language Model di riferimento per la Pubblica Amministrazione e lavoreremo come Fondazione per valorizzarlo”.

Al modello ha preso parte anche Cineca: “Siamo felici di mettere le nostre competenze e l'infrastruttura a disposizione di un progetto di ricerca d'avanguardia nel campo dell'intelligenza artificiale, che offre significativi potenziali benefici a tutto il sistema Paese – in particolare alla sua pubblica amministrazione”, spiega la direttrice Alessandra Poggiani. “È un progetto che interpreta bene la vocazione di Cineca a creare le condizioni di contesto ideali verso una più compiuta e ampia cittadinanza digitale”.