Gemini di Google continua l’pericolosa offuscamento della tecnologia IA.
Gemini di Google la pericolosa evoluzione della tecnologia IA.
Fino a quest’anno, era possibile imparare molto sulla tecnologia dell’intelligenza artificiale semplicemente leggendo la documentazione di ricerca pubblicata da Google e altri leader dell’IA con ogni nuovo programma che rilasciavano. La divulgazione aperta era la norma per il mondo dell’IA.
Tutto questo è cambiato a marzo di quest’anno, quando OpenAI ha eletto di annunciare il suo ultimo programma, GPT-4, con quasi nessun dettaglio tecnico. Il documento di ricerca fornito dall’azienda ha oscurato praticamente ogni dettaglio importante di GPT-4 che consentirebbe ai ricercatori di comprendere la sua struttura e di tentare di replicarne gli effetti.
Inoltre: IA nel 2023: Un anno di scoperte che non hanno lasciato invariata nessuna cosa umana
La settimana scorsa, Google ha proseguito con questo nuovo approccio di oscuramento, annunciando il rilascio ufficiale del suo nuovo programma generativo di intelligenza artificiale, Gemini, sviluppato in collaborazione con la sua unità DeepMind, che è stato svelato per la prima volta a maggio. I ricercatori di Google e DeepMind hanno offerto un post sul blog privo di specifiche tecniche e un rapporto tecnico quasi completamente privo di dettagli tecnici rilevanti.
Gran parte del post del blog e del rapporto tecnico cita una serie di punteggi di benchmark, con Google che si vanta di avere la meglio su GPT-4 di OpenAI in la maggior parte delle misure, e di battere la precedente rete neurale di punta di Google, PaLM.
- Apple Watch Serie 9 vs Ultra 2 quale smartwatch dovresti comprare?
- Crystal UHD vs QLED un confronto per l’acquisto di TV Samsung
- Ecco come potrebbe essere la linea di iPad nel 2024
Né il blog né il documento tecnico includono dettagli chiave che erano consuetudine negli anni precedenti, come ad esempio quanti “parametri” o “pesi” la rete neurale del programma ha, un aspetto chiave del suo design e della sua funzione. Invece, Google fa riferimento a tre versioni di Gemini, con tre dimensioni diverse: “Ultra”, “Pro” e “Nano”. Il documento rivela che Nano è allenato con due diversi conteggi di pesi, 1,8 miliardi e 3,25 miliardi, mentre non rivela i pesi delle altre due dimensioni.
Inoltre: Questi 5 grandi progressi tecnologici del 2023 sono stati i più rivoluzionari
Molti altri dettagli tecnici sono assenti, come nel documento tecnico di GPT-4 di OpenAI. In assenza di dettagli tecnici, il dibattito online si è concentrato sulla rilevanza delle affermazioni relative ai punteggi di benchmark.
Il ricercatore di OpenAI Rowan Zellers ha scritto su X (ex Twitter) che Gemini è “impressionante”, aggiungendo: “Non ho un’idea precisa su quanto fidarmi dei tanti benchmark testuali sui quali tutti i documenti LLM riportano in questi giorni.”
😂 scherzando a parte, però — il modello Gemini è davvero impressionante (non vedo l’ora di sperimentare gli aspetti multimodalità!) Non ho però una buona idea di quanto fidarmi di una dozzina o più di benchmark testuali sui quali tutti i documenti LLM riportano in questi giorni 😀
— Rowan Zellers (@rown) 7 dicembre 2023
Sito di notizie tecnologiche ENBLE, Kyle Wiggers riferisce aneddoti di scarsa performance del motore di ricerca Bard di Google, migliorato da Gemini. Cita post su X di persone che fanno domande a Bard come trivia cinematografiche o suggerimenti di vocabolario e riportano i fallimenti.
Il lancio di una nuova tecnologia o prodotto è spesso accompagnato da polemiche. In passato, tuttavia, i dettagli tecnici permettevano ai profani di valutare le capacità, analizzando le differenze tecniche tra il programma più recente e quelli precedenti, come PaLM.
In mancanza di tali informazioni, le valutazioni vengono fatte a senso unico, da persone che digitano casualmente cose a Bard.
Il repentino passaggio al segreto da parte di Google e OpenAI sta diventando un problema etico serio per l’industria tecnologica perché nessuno, al di fuori di OpenAI e del suo partner Microsoft, sa cosa sta accadendo nella scatola nera del loro cloud informatico.
A ottobre, gli studiosi Emanuele La Malfa dell’Università di Oxford e collaboratori all’Alan Turing Institute e all’Università di Leeds, hanno avvertito che l’oscurità di GPT-4 e altri modelli “costituisce un problema significativo” per l’IA in ambito sociale, ovvero che “i modelli più potenti e rischiosi sono anche i più difficili da analizzare”.
L’omissione di Google, sebbene non sorprendente data la sua battaglia commerciale con OpenAI e il partner Microsoft per la quota di mercato, diventa ancora più evidente per un’enorme omissione: le schede dei modelli.
Inoltre: Due scoperte hanno reso il 2023 l’anno più innovativo del settore tecnologico in oltre un decennio
Le schede dei modelli sono una forma di divulgazione standard utilizzata nell’IA per riportare i dettagli delle reti neurali, inclusi i potenziali danni del programma (discorsi d’odio, ecc.). Anche se il rapporto di GPT-4 di OpenAI ometteva la maggior parte dei dettagli, faceva almeno un accenno alle schede dei modelli con una sezione “GPT-4 System Card” nel documento, che si diceva fosse ispirata alle schede dei modelli.
Google non va nemmeno così lontano, omettendo qualsiasi cosa che assomigli alle schede dei modelli. L’omissione è particolarmente strana dato che le schede dei modelli sono state inventate da Google, da un team che includeva Margaret Mitchell, ex co-coordinatrice di Intelligenza Artificiale Etica presso Google, e l’ex co-coordinatore Timnit Gebru.
Invece delle schede dei modelli, il rapporto offre un breve e piuttosto bizzarro passaggio sulla messa in opera del programma con un linguaggio vago riguardo alla presenza delle schede dei modelli in qualche momento:
Dopo il completamento delle revisioni, vengono create schede dei modelli ?? [grassetto di Google] per ogni modello approvato di Gemini come documentazione interna strutturata e coerente delle metriche di performance e responsabilità critiche e per informare adeguatamente la comunicazione esterna di queste metriche nel tempo.
Se Google mette dei punti interrogativi accanto alle schede dei modelli nella propria divulgazione tecnica, bisogna chiedersi qual è il futuro della supervisione e della sicurezza delle reti neurali.
