Windows 11 presto sfrutterà la tua GPU per l’intelligenza artificiale generativa | ENBLE
Windows 11 utilizzerà presto la tua GPU per l'intelligenza artificiale generativa | ENBLE
In seguito all’introduzione di Copilot, il suo ultimo assistente intelligente per Windows 11, Microsoft sta ancora una volta avanzando l’integrazione dell’IA generativa con Windows. Durante la conferenza per sviluppatori Ignite 2023 in corso a Seattle, l’azienda ha annunciato una partnership con Nvidia su TensorRT-LLM che promette di migliorare l’esperienza degli utenti su desktop e laptop Windows dotati di GPU RTX.
Il nuovo rilascio introdurrà il supporto per nuovi modelli di linguaggio estesi, rendendo i carichi di lavoro dell’IA più accessibili. Degno di nota è in particolare la sua compatibilità con l’API di Chat di OpenAI, che consente l’esecuzione locale (anziché sul cloud) su PC e workstation dotati di GPU RTX con almeno 8 GB di VRAM.
La libreria TensorRT-LLM di Nvidia è stata rilasciata solo il mese scorso e si dice che aiuti a migliorare le prestazioni dei grandi modelli di linguaggio (LLM) utilizzando i Tensor Cores sulle schede grafiche RTX. Fornisce agli sviluppatori un’API Python per definire LLM e creare motori TensorRT più velocemente senza una conoscenza approfondita di C++ o CUDA.
Con il rilascio di TensorRT-LLM v0.6.0, la navigazione delle complessità dei progetti personalizzati di IA generativa sarà semplificata grazie all’introduzione di AI Workbench. Si tratta di un toolkit unificato che facilita la creazione rapida, i test e la personalizzazione dei modelli preaddestrati di IA generativa e LLM. Si prevede inoltre che la piattaforma consentirà agli sviluppatori di semplificare la collaborazione e la distribuzione, garantendo uno sviluppo efficiente e scalabile dei modelli.
Riconoscendo l’importanza di supportare gli sviluppatori di IA, Nvidia e Microsoft stanno anche rilasciando miglioramenti a DirectML. Queste ottimizzazioni accelerano modelli fondamentali di IA come Llama 2 e Stable Diffusion, fornendo agli sviluppatori maggiori opzioni per la distribuzione multi-vendor e stabilendo nuovi standard di prestazioni.
- Lo straordinario nuovo strumento meteorologico AI di Google potrebb...
- Un’era importante nella storia dei MacBook è finalmente finit...
- Questi tablet per prendere appunti semplificano i tuoi compiti, app...
L’aggiornamento della libreria TensorRT-LLM promette anche un notevole miglioramento delle prestazioni di inferenza, con velocità fino a cinque volte più rapide. Questo aggiornamento amplia anche il supporto per ulteriori LLM popolari, inclusi Mistral 7B e Nemotron-3 8B, ed estende le capacità di LLM locali veloci e accurate a una gamma più ampia di dispositivi portatili Windows.
L’integrazione di TensorRT-LLM per Windows con l’API di Chat di OpenAI tramite un nuovo wrapper permetterà a centinaia di progetti e applicazioni alimentati da IA di essere eseguiti in locale su PC dotati di RTX. Questo potenzialmente eliminerà la necessità di fare affidamento sui servizi cloud e garantirà la sicurezza dei dati privati e proprietari su PC Windows 11.
Il futuro dell’IA sui PC Windows 11 ha ancora molta strada da fare. Con i modelli di IA che diventano sempre più disponibili e gli sviluppatori che continuano a innovare, sfruttare il potere delle GPU RTX di Nvidia potrebbe cambiare il gioco. Tuttavia, è ancora troppo presto per dire se questo sarà l’ultimo tassello del puzzle di cui Microsoft ha disperatamente bisogno per sfruttare appieno le capacità dell’IA sui PC Windows.
