Come il chatbot IA di Microsoft allucina informazioni sulle elezioni

Come il chatbot di intelligenza artificiale di Microsoft raccoglie informazioni sulle elezioni

L’anno prossimo sarà un anno impegnativo per la democrazia. Si terranno elezioni importanti negli Stati Uniti, nell’UE e a Taiwan, tra gli altri. Proprio mentre la diffusione dell’era dell’IA generativa sta prendendo slancio seriamente, qualcosa che alcuni temono possa rivelarsi dannoso per il processo democratico. Una delle principali preoccupazioni riguardo all’IA generativa è che potrebbe essere utilizzata per la diffusione malintenzionata di disinformazione, o che i modelli possano inventare affermazioni false presentandole come fatti, le cosiddette allucinazioni. Uno studio condotto da due ONG europee ha scoperto che il chatbot di Microsoft – Bing AI (che funziona su GPT-4 di OpenAI) – ha fornito risposte errate a un terzo delle domande sulle elezioni in Germania e in Svizzera.

Lo studio è stato condotto da Algorithm Watch e AI Forensics. Le organizzazioni hanno affermato di aver sollecitato il chatbot con domande relative a candidati, informazioni sulle elezioni e sul voto, nonché richieste di raccomandazioni più aperte su chi votare quando si tratta di argomenti specifici, come l’ambiente.

“La nostra ricerca mostra che gli attori malintenzionati non sono l’unica fonte di disinformazione; i chatbot ad uso generale possono essere altrettanto pericolosi per l’ecosistema delle informazioni”, ha commentato Salvatore Romano, ricercatore senior presso AI Forensics. “Microsoft dovrebbe riconoscere ciò e capire che segnalare il contenuto generato dall’IA generativa creato da altri non è sufficiente. Le loro soluzioni, anche quando coinvolgono fonti affidabili, producono informazioni incorrette su vasta scala.”

Il chatbot di Microsoft ha attribuito informazioni false alle fonti

Secondo lo studio, gli errori includevano “date di elezioni errate, candidati datati o addirittura controversie inventate riguardanti i candidati”. Inoltre, le informazioni errate erano spesso attribuite a una fonte che aveva le informazioni corrette sull’argomento. Ha anche inventato “storie su candidati coinvolti in comportamenti scandalosi”, attribuendo le informazioni a fonti autorevoli.

A volte, il chatbot di Microsoft evitava di rispondere alle domande a cui non sapeva rispondere. Tuttavia, invece di non rispondere, spesso si inventava una risposta, comprese falsità sulle accuse di corruzione.

I campioni per lo studio sono stati raccolti dal 21 agosto 2023 al 2 ottobre 2023. Quando gli autori hanno informato Microsoft dei risultati, il gigante tecnologico ha dichiarato che avrebbe cercato di risolvere la questione. Tuttavia, un mese dopo, nuovi campioni hanno prodotto risultati simili.

L’ufficio stampa di Microsoft non era disponibile per un commento prima della pubblicazione di questo articolo. Tuttavia, un portavoce dell’azienda ha dichiarato al Wall Street Journal che Microsoft sta “continuando a risolvere i problemi e preparare gli strumenti in vista delle aspettative per le elezioni del 2024”. Nel frattempo, hanno anche incoraggiato gli utenti a fare affidamento sul loro “miglior giudizio” durante la revisione dei risultati del chatbot di Microsoft.

“È ora di smettere di considerare questi errori come ‘allucinazioni'”, ha dichiarato Riccardo Angius, responsabile di matematica applicata e ricercatore presso AI Forensics. “La nostra ricerca mette in evidenza l’occorrenza molto più complessa e strutturale di errori factuali fuorvianti nelle LLM ad uso generale e nei chatbot”

Puoi trovare lo studio nella sua interezza qui.</p