IA promossa in grammatica, ma rimandata in cultura: troppe citazioni false

4 ore fa 2

AGI - Promossa in grammatica, incerta nella conoscenza culturale: ben il 44% delle risposte dell’IA rientra nella categoria dei contenuti plausibili e il 19% presenta errori evidenti o attribuzioni chiaramente false. ChatGPT, Gemini, Claude, non si salva nessuno. E’ quanto emerge da uno studio di Libreriamo, piattaforma editoriale digitale italiana dedicata alla cultura, visionato in anteprima da AGI.

Dalla filosofia alla poesia, fino alle citazioni d’autore e alle opere d’arte, è proprio in questi ambiti che emergono i rischi più rilevanti: frasi attribuite ad autori che non le hanno mai scritte, citazioni plausibili ma non verificabili e reinterpretazioni che semplificano il pensiero originale.

Il risultato è la diffusione di contenuti che appaiono corretti, credibili e ben scritti, ma che non trovano riscontro nelle fonti.

La pagella dell’IA

In particolare, dai dati dello i dati dello studio dal quale emerge che in media circa il 38% delle risposte è corretto e verificabile, ben il 44% rientra nella categoria dei contenuti plausibili e il 19% presenta errori evidenti o attribuzioni chiaramente false.

Si salva solo la grammatica italiana, per il resto è tutto plausibile o falso. In letteratura, solo il 35% delle risposte risulta pienamente corretto, mentre il 45% è costituito da contenuti plausibili e il 20% da errori. Un equilibrio che si sposta ulteriormente nella poesia, dove la correttezza scende al 30% e la plausibilità raggiunge il 50%. In altre parole, in metà dei casi il contenuto non è verificabile, pur risultando credibile.

Nel caso dei libri, si osserva un dato ancora più preoccupante, con il 25% di risposte corrette e un ulteriore 59% plausibile. Gli errori si attestano al 16%. Tuttavia, questa apparente affidabilità nasconde un processo di semplificazione da non sottovalutare. La correttezza riguarda spesso la struttura generale, mentre la profondità e la complessità dell’opera vengono ridotte.

Ma è nelle citazioni d’autore e nelle massime filosofiche che il fenomeno diventa più evidente. Qui la plausibilità supera sistematicamente il 60% - raggiungendo il 62% nelle citazioni e il 65% nella filosofia - mentre la correttezza si ferma rispettivamente al 15% e al 13%. Le attribuzioni false sono rispettivamente 23% e 22%.

Questo significa che, nella maggior parte dei casi, l’intelligenza artificiale non restituisce ciò che è stato scritto, ma ciò che potrebbe essere stato scritto. Il pensiero viene ricostruito, adattato, reso coerente con un’immagine dell’autore, ma perde il legame con il testo. Le opere d’arte si collocano in una posizione intermedia, con il 38% di correttezza e il 42% di plausibilità. Il “falso d’autore” è il 20%.

Lo studio

Lo studio si basa sull’analisi di quasi 1.500 interazioni con sistemi di intelligenza artificiale generativa, ovvero le più diffuse e utilizzate dal grande pubblico, condotte nell’arco di circa un anno. Le richieste sono state costruite per simulare un utilizzo reale - quello di studenti, lettori e divulgatori - e hanno riguardato sette ambiti: letteratura, poesia, libri, citazioni d’autore, massime filosofiche, opere d’arte, grammatica italiana (categoria di controllo).

Ogni categoria è stata analizzata su 200 interazioni, con verifica sistematica delle risposte rispetto alle fonti originali. Le risposte sono state classificate in tre categorie: corrette e verificabili; plausibili ma non verificabili; errate o con attribuzioni scorrette.

Dall’analisi delle interazioni emerge un quadro: solo una parte delle risposte generate dall’intelligenza artificiale risulta pienamente corretta e verificabile nelle fonti. Una quota significativa, invece, si colloca in una zona intermedia: contenuti che appaiono coerenti e credibili, ma che non trovano riscontro nei testi originali. E se tutto può apparire plausibile, diventa sempre più difficile distinguere tra ciò che è semplicemente verosimile e ciò che è autentico, tra velocità e profondità, tra sintesi e comprensione

I 10 autori più ricorrenti suggeriti dall’IA

Dall’analisi delle interazioni emerge una tendenza chiara: l’intelligenza artificiale tende a proporre in modo ricorrente un numero limitato di autori, associandoli a specifici temi e riducendone la complessità.

Ecco i dieci autori più frequentemente suggeriti, trasversalmente alle categorie analizzate: