Gli truffatori hanno utilizzato ChatGPT per scatenare un botnet di criptovalute su X

Utilizzando ChatGPT, i truffatori hanno avviato una botnet di criptovalute su X.

ChatGPT potrebbe rivoluzionare la ricerca web, semplificare i compiti d’ufficio e rinnovare l’istruzione, ma il chatbot loquace ha trovato lavoro anche come truffatore di criptovalute sui social media.

Ricercatori dell’Università di Indiana a Bloomington hanno scoperto una botnet alimentata da ChatGPT che operava su X – il social network precedentemente noto come Twitter – nel maggio di quest’anno.

La botnet, che i ricercatori chiamano Fox8 a causa della sua connessione a siti web di criptovalute che portano qualche variazione dello stesso nome, era composta da 1.140 account. Molti di loro sembravano utilizzare ChatGPT per creare post sui social media e rispondere ai post degli altri. Il contenuto generato automaticamente era apparentemente progettato per attirare esseri umani ignari a fare clic su link per accedere ai siti di cripto-iper.

Micah Musser, un ricercatore che ha studiato il potenziale della disinformazione guidata dall’IA, afferma che la botnet Fox8 potrebbe essere solo la punta dell’iceberg, data la popolarità dei grandi modelli di linguaggio e dei chatbot. “Questi sono i frutti facili”, afferma Musser. “È molto, molto probabile che per ogni campagna che trovi, ce ne siano molte altre che fanno cose più sofisticate”.

La botnet Fox8 potrebbe essere stata estesa, ma l’uso di ChatGPT certamente non era sofisticato. I ricercatori hanno scoperto la botnet cercando sulla piattaforma la frase caratteristica “Come modello di linguaggio IA …”, una risposta che ChatGPT usa talvolta per prompt su argomenti sensibili. Hanno quindi analizzato manualmente gli account per identificare quelli che sembravano essere gestiti da bot.

“L’unico motivo per cui abbiamo notato questa particolare botnet è che erano negligenti”, afferma Filippo Menczer, professore presso l’Università di Indiana a Bloomington, che ha condotto la ricerca insieme a Kai-Cheng Yang, uno studente che si unirà all’Università del Northeastern come ricercatore post-dottorato per l’anno accademico in corso.

Nonostante la cadenza, la botnet ha pubblicato molti messaggi convincenti che promuovevano siti di criptovalute. La facilità apparente con cui l’intelligenza artificiale di OpenAI è stata apparentemente sfruttata per la truffa significa che i chatbot avanzati potrebbero gestire altre botnet che devono ancora essere rilevate. “Qualsiasi cattivo abbastanza bravo non farebbe quell’errore”, afferma Menczer.

Al momento della pubblicazione, OpenAI non aveva risposto a una richiesta di commento sulla botnet. La policy di utilizzo dei suoi modelli di IA proibisce l’uso per truffe o disinformazione.

ChatGPT e altri chatbot di ultima generazione utilizzano quello che sono noti come grandi modelli di linguaggio per generare testo in risposta a un prompt. Con dati di addestramento sufficienti (gran parte dei quali ottenuti da diverse fonti sul web), abbastanza potenza di calcolo e feedback da parte di tester umani, i bot come ChatGPT possono rispondere in modi sorprendentemente sofisticati a una vasta gamma di input. Allo stesso tempo, possono anche sfornare messaggi offensivi, mostrare pregiudizi sociali e inventare cose.

Un botnet basato su ChatGPT configurato correttamente sarebbe difficile da individuare, più capace di ingannare gli utenti e più efficace nel manipolare gli algoritmi utilizzati per dare priorità ai contenuti sui social media.

“Inganna sia la piattaforma che gli utenti”, afferma Menczer riferendosi alla botnet alimentata da ChatGPT. E se un algoritmo dei social media nota che un post ha molto coinvolgimento, anche se questo coinvolgimento proviene da altri account bot, mostrerà il post a più persone. “Ecco perché questi bot si comportano così”, afferma Menczer. E aggiunge che i governi che cercano di condurre campagne di disinformazione molto probabilmente stanno già sviluppando o utilizzando strumenti simili.

I ricercatori da tempo si preoccupano del rischio di disinformazione legato alla tecnologia dietro ChatGPT e OpenAI ha persino ritardato il rilascio di un predecessore del sistema proprio per tali timori. Ma finora ci sono pochi esempi concreti di grandi modelli di linguaggio utilizzati in modo improprio su larga scala. Alcune campagne politiche stanno già utilizzando l’IA, con politici di spicco che condividono video deepfake progettati per denigrare i loro avversari.

William Wang, professore presso l’Università della California, Santa Barbara, afferma che è entusiasmante poter studiare l’uso criminale reale di ChatGPT. “I loro risultati sono piuttosto interessanti”, afferma del lavoro su Fox8.

Wang ritiene che molte pagine web di spam vengano ora generate automaticamente e afferma che è sempre più difficile per gli esseri umani individuare questo materiale. E, con l’IA che migliora costantemente, diventerà solo più difficile. “La situazione è piuttosto grave”, afferma.

A maggio, il laboratorio di Wang ha sviluppato una tecnica per distinguere automaticamente il testo generato da ChatGPT dalla scrittura umana reale, ma afferma che è costoso da implementare perché utilizza l’API di OpenAI e sottolinea che l’IA sottostante sta migliorando costantemente. “È un problema di gatto e topo”, afferma Wang.

X potrebbe essere un terreno di prova fertile per tali strumenti. Menczer afferma che i bot maligni sembrano essere diventati molto più comuni da quando Elon Musk ha preso il controllo di ciò che era allora noto come Twitter, nonostante la promessa del magnate della tecnologia di eliminarli. Ed è diventato più difficile per i ricercatori studiare il problema a causa dell’ingente aumento dei prezzi imposto all’utilizzo dell’API.

Sembra che qualcuno presso X abbia abbattuto la botnet di Fox8 dopo che Menczer e Yang hanno pubblicato il loro articolo a luglio. Il gruppo di Menczer era solito avvisare Twitter delle nuove scoperte sulla piattaforma, ma non lo fanno più con X. “Non sono molto reattivi”, dice Menczer. “Non hanno davvero il personale.”