Nvidia potenzia il suo superchip Grace-Hopper con memoria più veloce per l’intelligenza artificiale
Nvidia upgrade superchip Grace-Hopper with faster memory for artificial intelligence
Il CEO di Nvidia, Jensen Huang, ha mostrato martedì la prossima versione del suo combinato CPU e GPU, il “superchip” GH200 Grace Hopper. Questo componente aumenta la capacità di memoria a 5 terabyte al secondo per gestire le dimensioni sempre crescenti dei modelli di intelligenza artificiale.
Nvidia ha pianificato di lanciare l’anno prossimo una versione migliorata di ciò che chiama “superchip”, che combina CPU e GPU, con una memoria più veloce, per spostare più dati dentro e fuori dalla circuitazione del chip. Il CEO di Nvidia, Jensen Huang, ha annunciato martedì durante il suo discorso principale alla mostra di grafica computerizzata SIGGRAPH a Los Angeles.
Il chip GH200 è la versione successiva del combinato Grace Hopper, annunciato all’inizio di quest’anno, che è già disponibile nella sua versione iniziale sui computer di Dell e di altri.
Inoltre: Nvidia presenta una nuova forma di Ethernet per l’intelligenza artificiale, il “superchip” Grace Hopper in piena produzione
Mentre il Grace Hopper iniziale contiene 96 gigabyte di memoria HBM per alimentare la GPU Hopper, la nuova versione contiene 140 gigabyte di HBM3e, la versione successiva dello standard di memoria ad alta larghezza di banda. L’HBM3e incrementa il tasso di trasferimento dei dati verso la GPU a 5 terabyte (trilioni di byte) al secondo rispetto ai 4 terabyte del Grace Hopper originale.
- La Norvegia infligge una multa di 1 milione di corone al giorno a M...
- I satelliti dell’ESA catturano l’entità degli incendi b...
- Il bivio della carriera 6 segnali che hai superato il tuo lavoro
Il GH200 seguirà di un anno il Grace Hopper originale, che Huang ha dichiarato in piena produzione a maggio.
“I chip sono in produzione, li campioneremo alla fine dell’anno, o giù di lì, e saranno in produzione entro la fine del secondo trimestre [2024]”, ha affermato martedì.
Il GH200, come il modello originale, presenta 72 core CPU basati su ARM nel chip Grace e 144 core GPU nella GPU Hopper. I due chip sono collegati sulla scheda di circuito da un’interfaccia di memoria cache-coerente ad alta velocità, NVLink, che consente alla GPU Hopper di accedere alla memoria DRAM della CPU.
Huang ha descritto come il GH200 possa essere collegato a un secondo GH200 in un server a configurazione duale, per un totale di 10 terabyte di banda di memoria HBM3e.
Il GH200 è la versione successiva del superchip Grace Hopper, progettato per condividere il lavoro dei programmi di intelligenza artificiale tramite un accoppiamento stretto di CPU e GPU.
L’aggiornamento della velocità di memoria delle parti GPU è abbastanza comune per Nvidia. Ad esempio, la generazione precedente di GPU, chiamata A100 “Ampere”, è passata da HBM2 a HBM2e.
L’HBM ha iniziato a sostituire lo standard di memoria GPU precedente, GDDR, nel 2015, spinto dalle crescenti esigenze di memoria dei display 4K per le grafiche dei videogiochi. L’HBM è una configurazione di memoria “impilata”, con i singoli die di memoria impilati verticalmente l’uno sull’altro, e connessi tra loro attraverso un “via through-silicon” che attraversa ogni chip fino a un “micro-bump” saldato sulla superficie tra ogni chip.
I programmi di intelligenza artificiale, specialmente quelli di tipo generativo come ChatGPT, richiedono molta memoria. Devono memorizzare un numero enorme di pesi neurali o parametri, che sono le principali unità funzionali di una rete neurale. Questi pesi aumentano con ogni nuova versione di un programma di intelligenza artificiale generativa come un grande modello di linguaggio, e tendono a raggiungere un trilione di parametri.
Inoltre: Nvidia domina i benchmark dell’intelligenza artificiale, ma Intel rappresenta una competizione significativa
Inoltre, durante la mostra, Nvidia ha annunciato diversi altri prodotti e partnership.
AI Workbench è un programma che viene eseguito su una postazione di lavoro locale e che facilita il caricamento dei modelli di reti neurali nel cloud in modo containerizzato. AI Workbench attualmente sta registrando gli utenti per un accesso anticipato.
Nuove configurazioni di workstation per l’intelligenza artificiale generativa, di Dell, HP, Lenovo e altri, sotto il marchio “RTX”, combineranno fino a quattro delle GPU “RTX 6000 Ada” dell’azienda, ognuna con 48 gigabyte di memoria. Ogni workstation desktop può fornire fino a 5.828 trilioni di operazioni in virgola mobile al secondo (TFLOPs) di prestazioni di intelligenza artificiale e 192 gigabyte di memoria GPU, ha dichiarato Nvidia.
Puoi guardare la replica della presentazione completa di Huang sul sito web di Nvidia.
