I nuovi chip VR/AR di Qualcomm raccontano molto sul Quest 3 e oltre

Qualcomm's new VR/AR chips reveal a lot about the Quest 3 and beyond.

Se vuoi capire dove si trova il futuro della realtà virtuale (VR) e aumentata (AR), inizia guardando i chip. I chipset di Qualcomm hanno guidato la maggior parte dei dispositivi VR e AR per anni, spesso indicando quali visori adotteranno prima che lo facciano effettivamente. I nuovi chipset Snapdragon XR2 Gen 2 e AR1 Gen 1 di Qualcomm, che debuttano sul nuovo Quest 3 di Meta e sui suoi occhiali Ray-Ban aggiornati, meritano attenzione perché non sono esclusivi dei prodotti di Meta. Appariranno in molti altri luoghi.

Mentre Apple sta preparando l’hardware Vision Pro per il prossimo anno, il resto del panorama della realtà virtuale/aumentata (o XR, informatica spaziale, chiamala come preferisci) si sta muovendo parallelamente. Samsung, Google e Qualcomm stanno preparando una sorta di piattaforma hardware per la realtà mista. Qualcomm sta anche lavorando con lo sviluppatore di giochi Niantic su un qualche tipo di occhiali AR e collabora ancora con Microsoft per futuri software/hardware di realtà mista oltre a Hololens. Qualcomm ha una partnership con Meta in cui i suoi chip AR/VR appaiono per primi sull’hardware di Meta, ma non si fermeranno lì: pensa a HTC, Pico e altri.

Abbiamo parlato con il responsabile XR di Qualcomm, Hugo Swart, per avere una prospettiva su cosa significano i cambiamenti per i prodotti futuri.

La VR ottiene un potenziamento nella realtà mista e nell’IA

Il più grande punto di forza del nuovo chipset Snapdragon XR2 Gen 2, oltre al potenziamento delle grafiche e della potenza di elaborazione, è la sua migliorata realtà mista passante. È una tendenza tra i visori in questo momento: invece di cercare di realizzare la realtà aumentata (oggetti virtuali e audio che sembrano apparire nel mondo reale) facendo fluttuare immagini su display trasparenti, la corrente ondata di visori VR mostra ora video del mondo reale catturati con le loro telecamere e sovrappone grafiche su di essi per creare un effetto simile all’AR senza lenti trasparenti.

Alcuni visori esistenti fanno questo, come il Varjo XR-3 e Aero e l’HTC Vive XR Elite. Anche il Vision Pro di Apple e il prossimo visore VR di Meta, il Quest 3, lo fanno.

• Gli occhiali intelligenti con intelligenza artificiale di Meta poss...
• I nuovi occhiali intelligenti Ray-Ban di Meta possono trasmettere i...
• Panos Panay, il Padrino del Surface, lascia Microsoft per Amazon

Tuttavia, il XR2 Gen 2 sembra essere in grado di fare di più rispetto a ciò per cui il Quest 3 lo sta utilizzando. Il Quest 3 non ha il tracciamento degli occhi o del viso, ma l’XR2 Gen 2 può tracciare fino a 10 telecamere o sensori contemporaneamente: tracciatori dell’intero corpo, tracciamento del volto e degli occhi, telecamere esterne e altro potrebbero essere facilmente integrati in futuri visori. Sembra essere un chip molto più pronto ad avere più sensori in funzione contemporaneamente.

Possibilità di fitness con accessori

Parte di quella larghezza di banda extra potrebbe essere utilizzata per migliorare la compatibilità con gli accessori, in particolare per il fitness. Swart vede i progressi nell’elaborazione dell’IA sul chip XR2 Gen 2 come un aiuto per un addestramento virtuale più intelligente. “Puoi ottenere una conoscenza molto migliore dei movimenti che l’utente sta eseguendo”, ha detto. “E quindi avere una guida, se hai un allenatore virtuale, che non solo ti dice cosa fare, ma può anche monitorare ciò che stai facendo. E quindi fare raccomandazioni”.

Qualcomm sta già esplorando la convergenza tra VR, AR e telefoni. La relazione potrebbe espandersi anche ad altri accessori, e il chip XR2 Gen 2 potrebbe essere meglio equipaggiato per gestire queste molteplici relazioni. “Può essere un accessorio dedicato. Oppure potrebbe essere dotato di un smartwatch che potrebbe essere collegato all’esperienza. O sensori”, ha detto Swart. “Credo fortemente nel potenziale di queste cose che si uniscono”.

Qualcomm sta già esplorando un prototipo di fitness VR che utilizza una telecamera del telefono per un tracciamento aggiuntivo, ha detto Swart. “Stiamo lavorando a un progetto basato sul fitness, in cui puoi utilizzare il telefono come telecamera”, ha detto. “Metti il retro del telefono rivolto verso di te mentre fai una sessione di esercizi di fitness in VR, catturando i movimenti che l’utente sta facendo. Probabilmente vedremo marchi tradizionali più grandi nel settore del fitness e del benessere che aggiungeranno funzionalità XR ai loro servizi”.

Miglioramenti del tracciamento delle mani per la realtà mista

Anche se Meta non ha ancora dimostrato grandi cambiamenti nella tracciabilità delle mani sul Quest 3, è probabile che arriveranno. “Abbiamo otto volte la capacità di IA [su questo chipset]. E penso che il tracciamento delle mani sia un esempio che trae davvero vantaggio dall’IA”, ha detto Swart, ma indica la miscela simultanea di tracciamento testa-mani e consapevolezza ambientale come la miscela più impegnativa. “Quando parliamo di mappatura degli ambienti, di mappatura degli oggetti, di identificazione degli oggetti nel loro ambiente, di oggetti in movimento di fronte a te durante un’esperienza, sono molte cose che individualmente forse potrei fare su una piattaforma più vecchia, ma farle tutte funzionare contemporaneamente, questo è il segreto”.

Enfasi sull’IA

E la tecnologia popolare di quest’anno, l’IA, gioca anche un interessante jolly sia per AR che per VR. Swart vede l’IA che svolge un ruolo importante nel modo in cui le esperienze più spontanee nella realtà mista funzionano. Aziende focalizzate sul metaverso come Roblox ne stanno già facendo uso.

“Il Santo Graal sarebbe entrare in una stanza e immediatamente, con l’IA generativa, creare un nuovo mondo per me nella stanza”, ha detto Swart. “Ma penso che cose semplici, come interagire con un avatar digitale NPC e avere una conversazione con quel NPC, siano il tipo di tecnologia che è già qui oggi.”

Il chip AR1 Gen 1 di Qualcomm: un percorso intermedio per gli occhiali intelligenti

Qualcomm ha annunciato un altro chipset, che sarà anche lanciato in un nuovo prodotto di Meta: Snapdragon AR 1 Gen 1. Gli occhiali intelligenti Ray-Ban più recenti di Meta, dotati di fotocamera e audio, sfruttano alcune delle funzionalità del chipset ma non tutte. Nonostante il nome “AR”, questo chipset non è focalizzato affatto sulle immagini 3D. Invece, è incentrato su una migliore fotocamera, audio e prestazioni di intelligenza artificiale su occhiali intelligenti più piccoli che ora sembrano del tutto normali. I nuovi occhiali Ray-Ban di Meta ne sono un esempio principale. Hanno dei microfoni migliori e fotocamere migliori ma nessun display. Tuttavia, il chip AR 1 Gen 1 di Qualcomm può supportare i display, fino a una risoluzione di 1.280×1.280 pixel per occhio.

Il nuovo chipset per gli occhiali supporta anche fino a otto microfoni (Meta ne utilizza cinque), Wi-Fi 7 e molti miglioramenti nell’IA sugli occhiali: ricerca visiva basata su testo come Google Lens e cancellazione del rumore assistita dall’IA, che potrebbe portare a funzioni audio simili a quelle degli AirPods Pro 2 di Apple.

Qualcomm sta promuovendo i suoi nuovi miglioramenti nell’IA per cose come gli assistenti basati sulla voce, la navigazione, il riconoscimento degli oggetti e altri tipi di idee che sembrano ciò a cui Google Glass aveva sognato anni fa. Ci sono anche possibilità con i sensori di fitness. Questo utilizzo dei sensori di fitness è più una possibilità teorica grazie alla nuova capacità di elaborazione del chipset, ha detto Swart, il che mi fa domandare quando inizieranno ad apparire occhiali da fitness dotati di sensori. Ha molto senso.

Cosa succede con gli occhiali AR?

Una cosa che questo nuovo chipset per occhiali non farà è la realtà aumentata 3D con pieno movimento 6DoF (sei gradi di libertà). Qualcomm ha un altro chipset per occhiali AR, più potente, annunciato l’anno scorso, l’AR 2 Gen 1, che è in grado di fare queste cose, ma finora non sono emersi occhiali che utilizzano quel chip.

“Ci sta mettendo un po’ più di tempo del previsto per far uscire quei prodotti [gli occhiali AR]”, ha detto Swart. “Il silicio non è l’unico ostacolo per quel tipo di occhiali… Penso che dobbiamo considerare display e ottica, ed è una delle aree che impedisce ai dispositivi di arrivare più velocemente sul mercato.”

Swart vede lo sviluppo di occhiali AR di fascia alta che avviene “in parallelo” con occhiali non-AR più snelli, quelli che faranno sentire le persone a proprio agio con l’idea prima di passare a hardware più avanzato in futuro.

Sembra anche che per ora i visori VR vengano sfruttati come modo per provare la realtà aumentata per la maggior parte delle persone. Il nuovo Quest 3 si basa sulla realtà mista come sua unica grande novità, e anche il Vision Pro di Apple fa lo stesso.

Potrebbe significare alcuni anni in cui i visori VR sono il luogo in cui vengono esplorate le idee di AR, prima che gli occhiali AR possano alla fine prendere il sopravvento e farlo in dimensioni più piccole. Naturalmente, tutto dipende da come si sviluppa l’hardware. Per ora, mostra che il 2023 e oltre saranno ancora incentrati sui visori VR e sugli occhiali intelligenti, probabilmente ancora separati e ancora con sogni futuri di fusione.

Uno di questi chip è ciò su cui funzionano il prodotto misterioso di Samsung, Google e Qualcomm?

La prossima ondata attesa di dispositivi VR e AR è in corso: oltre al Vision Pro di Apple, Samsung, Google e Qualcomm hanno una piattaforma di prodotti misteriosa che si prevede sarà svelata entro la fine di quest’anno o l’anno prossimo. Secondo Samsung, è probabile che sia qualcosa che si collega ai telefoni Android.

Sembra probabile che quel prodotto funzioni con il nuovo chipset XR2 Gen 2 di Qualcomm, ma naturalmente Swart non fa commenti in merito. “Qui non posso dire molto al riguardo”, ha detto. Ma quando gli ho chiesto del futuro dell’interazione tra telefoni e visori imminenti, c’è una caratteristica chiave su cui Swart interviene.

“Questo tipo di concetto di portare contenuti 2D dal telefono, dal PC e organizzarli semplicemente nel tuo campo visivo, penso sia molto interessante”, ha detto. “Il mio figlio di 16 anni è un appassionato di videogiochi e ha tre monitor, oltre al suo telefono, e stanno tutti guardando attraverso diverse app. C’è un gioco qui, c’è Discord, c’è Snap. Potresti facilmente mettere tutto questo in un visore. Non ho bisogno di avere questa enorme configurazione nella sua stanza. Potrei semplicemente mettere un visore e avere tutti questi schermi 2D organizzati in quel campo visivo.”

È questo un indizio su quale potrebbe essere il ruolo di Google nel prodotto di Samsung? La Vision Pro di Apple ha enfatizzato l’esecuzione di migliaia di app iOS su un display virtuale. Samsung, Google e Qualcomm potrebbero dimostrare qualcosa di simile anche per Android e Google Play. È la parte mancante dell’ecosistema VR/AR, e forse la prossima fase non riguarda ripensare ciò che è VR o AR: si tratta di mettere tutto insieme con tutto il resto.

• Augmented Reality
• Meta
• Metaverse
• qualcomm
• Virtual Reality