Silo AI rilascia checkpoint nella missione di democratizzare LLMs
Silo AI rilascia un checkpoint nella missione di democratizzare LLMs.
È passato un anno da quando OpenAI ha scatenato ChatGPT nel mondo e ha reso popolari termini come modello fondamentale, LLM e GenAI. Tuttavia, i benefici promessi della tecnologia generativa di intelligenza artificiale sono ancora molto più probabili per chi parla inglese, rispetto ad altre lingue.
Esistono più di 7.000 lingue nel mondo. Tuttavia, la maggior parte dei grandi modelli linguistici (LLM) funziona in modo molto più efficace in inglese. Naturalmente, ciò minaccia di amplificare il pregiudizio linguistico quando si tratta di accesso a conoscenze, ricerca, innovazione e vantaggio competitivo per le imprese.
A novembre, Silo AI della Finlandia ha rilasciato il suo LLM multilingue Poro 34B in collaborazione con l’Università di Turku. Poro, che significa renna in finlandese, è stato addestrato sul supercomputer più potente d’Europa, LUMI, a Kajani, in Finlandia. (Curiosamente, LUMI utilizza l’architettura AMD, a differenza del tanto acclamato LLM di addestramento Nvidia.)
Insieme a Poro 1, l’azienda ha presentato un programma di checkpoint di ricerca che rilascerà checkpoint man mano che il modello viene completato (i primi tre checkpoint sono stati annunciati insieme al modello il mese scorso).
Ora, l’azienda, attraverso il suo ramo SiloGen, ha addestrato più del 50% del modello e ha appena pubblicato i successivi due checkpoint nel programma. Con questi cinque checkpoint completati, Poro 34B ha mostrato prestazioni di livello eccellente per lingue a risorse limitate come il finlandese (rispetto a Llama, Mistral, FinGPT, ecc) senza compromettere le prestazioni in inglese.
- Il nuovo drone killer di Anduril è bloccato sulla guerra alimentata...
- TikTok si impegna con un investimento di 12 miliardi di euro in Eur...
- La Cybertruck di Tesla è qui e costa $61.000
Sampo Pyysalo, ricercatore presso TurkuNLP, afferma che si aspettano di aver addestrato completamente il modello nelle prossime settimane. Come prossimo passo, il modello supporterà altre lingue nordiche, tra cui svedese, norvegese, danese e islandese.
“È imperativo per la sovranità digitale dell’Europa avere accesso a modelli linguistici allineati con i valori, la cultura e le lingue europee. Siamo orgogliosi di vedere che Poro mostra prestazioni di livello eccellente su una lingua a risorse limitate come il finlandese”, ha dichiarato Peter Sarlin, co-fondatore e CEO di Silo AI, a TNW. “In linea con l’intenzione di coprire tutte le lingue europee, è un passo naturale iniziare con un’estensione alle lingue nordiche.”
Inoltre, SiloGen ha iniziato ad addestrare Poro 2. Attraverso una partnership con l’organizzazione no-profit LAION (Large-scale Artificial Intelligence Open Network), verrà aggiunta la multimodalità al modello.
“È altrettanto naturale estendere Poro alla visione”, ha aggiunto Sarlin. “Come i dati testuali, vediamo un potenziale ancora più ampio per l’IA generativa nel consolidare grandi quantità di dati di diverse modalità.”
LAION afferma di essere “appassionata nell’avanzamento del campo del machine learning per il bene comune.” In linea con le intenzioni di Silo AI per la costruzione del suo modello GenAI e con la missione generale di LAION di aumentare l’accesso a modelli di apprendimento automatico su larga scala e dataset, Poro 2 sarà liberamente disponibile con licenza Apache 2.0. Ciò significa che gli sviluppatori potranno anche creare soluzioni proprietarie.
Silo AI, che si autodefinisce “il più grande laboratorio privato di intelligenza artificiale in Europa”, è stata lanciata nel 2017 con l’idea che l’Europa avesse bisogno di un’ammiraglia di intelligenza artificiale. L’azienda ha sede a Helsinki, in Finlandia, e sviluppa soluzioni e prodotti basati sull’IA per dispositivi intelligenti, veicoli autonomi, industria 4.0 e città intelligenti. Attualmente, Silo AI conta oltre 300 dipendenti ed ha uffici anche in Svezia, Danimarca, Paesi Bassi e Canada.
