L’IA sta diventando più potente, ma anche più segreta
L'Intelligenza Artificiale sta diventando sempre più potente, ma anche sempre più segreta.
Quando OpenAI ha pubblicato i dettagli del modello di linguaggio AI incredibilmente capace GPT-4, che alimenta ChatGPT, nel marzo, i ricercatori hanno riempito 100 pagine. Hanno anche tralasciato alcuni dettagli importanti, come qualcosa di sostanziale su come è stato effettivamente costruito o come funziona.
Certo, non è stato un’omissione accidentale. OpenAI e altre grandi aziende sono ben liete di mantenere il funzionamento dei loro algoritmi più preziosi avvolto nel mistero, in parte per paura che la tecnologia possa essere utilizzata in modo improprio, ma anche per timori di dare ai competitor un vantaggio.
La newsletter Fast Forward di ENBLEWill Knight
- I rapporti bancari mostrano che i consumatori statunitensi rimangon...
- Gruppi di criptovalute Gemini, Genesis e DCG citati in giudizio per...
- Il DALL-E 3 di OpenAI è ora disponibile per gli utenti di ChatGPT P...
Uno studio pubblicato dai ricercatori dell’Università di Stanford questa settimana mostra quanto profonda e potenzialmente pericolosa sia la segretezza intorno a GPT-4 e ad altri sistemi AI all’avanguardia. Alcuni ricercatori di AI con cui ho parlato dicono che ci troviamo in mezzo a un cambiamento fondamentale nel modo in cui viene perseguibile l’IA. Temono che questo renda il settore meno incline a produrre avanzamenti scientifici, fornisca meno responsabilità e riduca affidabilità e sicurezza.
Il team di Stanford ha esaminato 10 diversi sistemi di intelligenza artificiale, principalmente grandi modelli di linguaggio come quelli dietro ChatGPT e altri chatbot. Questi includono modelli commerciali ampiamente utilizzati come GPT-4 di OpenAI, il simile PaLM 2 di Google e Titan Text di Amazon. La relazione ha anche esaminato modelli offerti da startup, tra cui Jurassic-2 di AI21 Labs, Claude 2 di Anthropic, Command di Cohere e Inflection-1 di Inflection, produttore di chatbot.
E hanno esaminato modelli di AI “open source” che possono essere scaricati gratuitamente, anziché essere accessibili esclusivamente tramite cloud, tra cui il modello di generazione di immagini Stable Diffusion 2 e Llama 2, rilasciato da Meta il luglio di quest’anno. (Come ENBLE ha già spiegato in passato, questi modelli spesso non sono esattamente “open” come sembrano.)
Il team di Stanford ha valutato l’apertura di questi modelli su 13 criteri diversi, tra cui quanto il developer è trasparente riguardo ai dati utilizzati per addestrare il modello; ad esempio, divulgando come sono stati raccolti e annotati, e se includono materiale con copyright. Lo studio ha anche cercato divulgazioni sull’hardware utilizzato per addestrare e far funzionare un modello, i framework software utilizzati e il consumo di energia di un progetto.
In generale, i ricercatori hanno scoperto che nessun modello ha ottenuto più del 54% sulla scala di trasparenza su tutti questi criteri. Nel complesso, Titan Text di Amazon è stato giudicato il meno trasparente, mentre Llama 2 di Meta è stato incoronato come il più aperto. Ma persino un modello “open source” come Llama 2 si è rivelato abbastanza opaco, poiché Meta non ha divulgato i dati utilizzati per il suo addestramento, come sono stati raccolti e curati quei dati o chi ha svolto il lavoro.
Nathan Strauss, un portavoce di Amazon, ha dichiarato che l’azienda sta esaminando attentamente l’indice. “Titan Text è ancora in anteprima privata e sarebbe prematuro valutare la trasparenza di un modello di base prima che sia pronto per la disponibilità generale”, ha detto. Meta ha rifiutato di commentare il rapporto di Stanford e OpenAI non ha risposto alla richiesta di commento.
Rishi Bommasani, uno studente di dottorato a Stanford che ha lavorato sulla ricerca, dice che essa riflette il fatto che l’IA sta diventando sempre più opaca anche se diventa sempre più influente. Questo contrasta fortemente con l’ultimo grande boom dell’IA, quando la trasparenza ha contribuito a grandi progressi nelle capacità, tra cui il riconoscimento del linguaggio e delle immagini. “Negli anni 2010, le aziende erano più trasparenti sulla loro ricerca e pubblicavano molto di più”, dice Bommasani. “Questo è il motivo per cui abbiamo avuto successo nel deep learning”.
Il rapporto di Stanford suggerisce anche che i modelli non devono essere così segreti per motivi di concorrenza. Kevin Klyman, un ricercatore di politiche a Stanford, afferma che il fatto che una serie di modelli leader ottenga punteggi relativamente alti su diverse misure di trasparenza suggerisce che tutti potrebbero diventare più aperti senza perdere nei confronti dei concorrenti.
Mentre gli esperti di IA cercano di capire dove stanno andando gli sviluppi recenti di determinati approcci all’IA, alcuni sostengono che il segreto rischia di rendere il settore meno una disciplina scientifica che orientata al profitto.
“Questo è un momento cruciale nella storia dell’IA”, dice Jesse Dodge, uno scienziato della ricerca presso l’Istituto Allen per l’IA, o AI2. “I giocatori più influenti che stanno costruendo sistemi di IA generativi oggi sono sempre più chiusi e non condividono i dettagli chiave dei loro dati e dei loro processi”.
AI2 sta cercando di sviluppare un modello di linguaggio di IA molto più trasparente, chiamato OLMo. Viene addestrato utilizzando una collezione di dati provenienti dal web, pubblicazioni accademiche, codice, libri e enciclopedie. Questo set di dati, chiamato Dolma, è stato rilasciato con la licenza ImpACT di AI2. Quando OLMo sarà pronto, AI2 prevede di rilasciare il sistema operativo AI funzionante e anche il codice dietro di esso, consentendo agli altri di costruire sul progetto.
Dodge afferma che ampliare l’accesso ai dati di base dei modelli di IA potenti è particolarmente importante. Senza un accesso diretto, è generalmente impossibile sapere perché o come un modello può fare ciò che fa. “L’avanzamento della scienza richiede riproducibilità”, dice. “Senza un accesso aperto a questi blocchi di lavoro cruciali per la creazione dei modelli, rimarremo in una situazione ‘chiusa’, stagnante e proprietaria”.
Dato l’ampio utilizzo dei modelli di IA e quanto pericolosi alcuni esperti avvertono che possano essere, un po’ più di apertura potrebbe fare molto.
