Il Futuro dell’Efficiente Inferenza AI Il Chip Rivoluzionario di EnCharge AI
La rivoluzionaria fusione di EnCharge AI tra calcolo analogico e digitale ha il potenziale di migliorare significativamente l'efficienza energetica dell'AI generativa durante le attività di previsione.
“`html
Migliorare l’efficienza di GenAI con un nuovo chip.
📷
Il 2024 si preannuncia come l’anno in cui l’intelligenza artificiale generativa (GenAI) compie un balzo in avanti, poiché le imprese e l’elettronica di consumo iniziano ad utilizzare la tecnologia per previsioni ad alto volume, anche conosciute come inferenze. Ma per compiere questo balzo, dobbiamo affrontare la sfida di eseguire questi modelli AI complessi su dispositivi con risorse energetiche limitate. Entra in gioco EnCharge AI, una start-up nel settore dei semiconduttori che ha appena ricevuto una sovvenzione di 18,6 milioni di dollari dalla Defense Advanced Research Projects Agency (DARPA) degli Stati Uniti per sviluppare circuiti a basso consumo energetico per l’inferenza.
🤝 EnCharge AI sta collaborando con l’Università di Princeton per far avanzare lo sviluppo di circuiti innovativi che potrebbero rivoluzionare l’inferenza AI. Unendo componenti digitali e analogici, EnCharge AI mira a migliorare drasticamente l’efficienza energetica dei calcoli AI. Il loro approccio, noto come calcolo in memoria (IMC), mira a ridurre il consumo energetico dell’accesso alla memoria, l’aspetto più avido di energia del calcolo.
Il Potere dell’Analogico
✍️ La svolta di EnCharge AI risiede nel loro creativo utilizzo dei circuiti analogici. Sebbene il calcolo analogico sia da tempo riconosciuto come più efficiente dal punto di vista energetico rispetto a quello digitale, renderlo funzionante è sempre stata una sfida. EnCharge AI ha trovato un modo per superare gli ostacoli. Invece di tentare di eseguire l’intero processo di calcolo in analogico, si concentrano sull’operazione di “accumulo” per renderla più efficiente. In questo approccio, la moltiplicazione delle matrici è ancora gestita da circuiti digitali, mentre l’accumulo avviene in analogico tramite condensatori. Questa combinazione consente accumuli di moltiplicazioni matriciali in parallelo a un costo energetico molto inferiore rispetto ai tradizionali circuiti digitali.
- 🎮 Nvidia aggiunge refresh rate adattabili e pass giornalieri a GeFo...
- AI2 Incubator garantisce $200 milioni in calcolo per le startup.
- Soluzioni di raffreddamento per PC raffreddamento ad aria vs raffre...
💡 L’idea chiave qui è che i programmi AI si basano pesantemente su compiti intensivi di memoria, e ottimizzando questi compiti, l’efficienza complessiva del calcolo AI può essere notevolmente migliorata. La tecnologia di svolta di EnCharge AI promette di essere “30 volte” più efficiente rispetto agli sforzi precedenti.
🤖 Le Sfide del Calcolo Analogico
🐍 Il calcolo analogico è stato notoriamente difficile da implementare, e molti tentativi precedenti sono falliti. Il problema principale del calcolo analogico è il rumore intrinseco, che influisce sull’accuratezza e sulla affidabilità dei calcoli. Ma EnCharge AI ha superato questo ostacolo utilizzando condensatori anziché misurare le correnti. I condensatori immagazzinano carica anziché utilizzare correnti, riducendo il rumore e aumentando l’efficienza energetica.
💪 Un altro vantaggio dell’approccio di EnCharge AI è l’uso economico dei condensatori. A differenza dei metodi di calcolo analogico precedenti che richiedevano tecniche di produzione esotiche, i condensatori possono essere facilmente incorporati nei normali processi di produzione di semiconduttori. Infatti, i condensatori sono realizzati con gli ordinari strati metallici utilizzati per interconnettere i transistor, rendendoli essenzialmente gratuiti.
Un Grande Salto in Efficienza Energetica
🚀 I prototipi di EnCharge AI hanno già dimostrato un significativo miglioramento dell’efficienza energetica. Hanno ottenuto un tasso di elaborazione di 150 trilioni di operazioni al secondo per watt quando si occupano di inferenze di reti neurali con quantizzazione a otto bit. In confronto, approcci precedenti come quello di Mythic hanno raggiunto al massimo decine di TOPS per watt. Ciò significa che i chip di EnCharge AI sono “30 volte” più efficienti rispetto alle soluzioni precedenti.
🌐 Ma l’efficienza non è l’unica sfida nel mercato dell’AI. La scala è un altro fattore critico. OpenAI e altre organizzazioni stanno costruendo modelli incredibilmente grandi con trilioni di pesi di reti neurali, che non possono adattarsi interamente nella cache SRAM on-chip. Il software intelligente di EnCharge AI gestisce efficientemente la memoria on-chip e off-chip, garantendo che i dati rilevanti siano accessibili quando necessario, anche se sono memorizzati in memoria off-chip come la DRAM.
❓ Q&A: – Q: Come affronta EnCharge AI le sfide di memoria dei grandi modelli AI? – A: Il software intelligente di EnCharge AI virtualizza l’accesso sia alla memoria on-chip che off-chip, organizzando efficientemente i dati per garantire un’elaborazione efficiente e veloce. Questo approccio consente di gestire grandi modelli che superano la capacità della cache SRAM on-chip. – Q: La tecnologia di EnCharge AI è applicabile sia all’inferenza che all’addestramento? – A: Mentre i prodotti iniziali si concentreranno sull’inferenza, EnCharge AI ritiene che il loro approccio basato sui condensatori possa adattarsi anche all’addestramento. Tuttavia, è necessario fare ulteriori lavori sul software per rendere questo una realtà.
Il Cammino Avanti
“““html
🏭 EnCharge AI sta pianificando di vendere i propri chip accelerator e schede di sistema di AI in edge computing, mirando ad applicazioni nei data center aziendali, automobili e personal computers. Il loro obiettivo è fornire una soluzione per ambienti limitati in termini di energia in cui dimensioni, costo ed efficienza energetica sono fondamentali.
🔮 Guardando avanti, la svolta di EnCharge AI potrebbe avere implicazioni di vasta portata per l’industria dell’IA. Le loro innovazioni nel calcolo analogico e nell’ottimizzazione della memoria potrebbero spianare la strada per un’IA più efficiente dal punto di vista energetico in fase di inferenza e formazione. Ciò potrebbe portare all’adozione dell’IA in una vasta gamma di applicazioni, dall’elettronica di consumo ai processi industriali critici.
📚 Riferimenti: 1. ChatGPT e Llama: modelli di IA di OpenAI e Meta 2. Edge computing e AI 3. Calcolo analogico per l’IA: Una sfida e una svolta 4. Ottimizzazione dell’inferenza con il calcolo in memoria 5. Nuovi chip di IA da Nvidia e Intel
👥 Condividi i tuoi pensieri su questo sviluppo entusiasmante! Come pensi che la svolta di EnCharge AI plasmerà il futuro dell’IA in fase di inferenza? Fatecelo sapere nei commenti qui sotto e condividete questo articolo con i vostri amici sui social media! 🚀
“`
