Il team AI Red di Microsoft ha già dimostrato il proprio valore
The Microsoft AI Red team has already proven its worth.
Per la maggior parte delle persone, l’idea di utilizzare strumenti di intelligenza artificiale nella vita quotidiana, o anche solo di giocarci, è diventata di tendenza solo negli ultimi mesi, con i nuovi rilasci di strumenti di intelligenza artificiale generativa da parte di numerose grandi aziende tecnologiche e startup, come il ChatGPT di OpenAI e il Bard di Google. Ma dietro le quinte, la tecnologia si è diffusa per anni, insieme a domande su come valutare e proteggere al meglio questi nuovi sistemi di intelligenza artificiale. Lunedì, Microsoft sta rivelando dettagli sul team all’interno dell’azienda che dal 2018 si occupa di capire come attaccare le piattaforme di intelligenza artificiale per rivelarne le debolezze.
Negli ultimi cinque anni dalla sua formazione, il team di intelligence artificiale di Microsoft è cresciuto da ciò che era essenzialmente un esperimento in una squadra interdisciplinare completa di esperti di apprendimento automatico, ricercatori di sicurezza informatica e persino ingegneri sociali. Il gruppo si impegna a comunicare le sue scoperte all’interno di Microsoft e nell’industria tecnologica utilizzando il linguaggio tradizionale della sicurezza digitale, in modo che le idee siano accessibili anziché richiedere conoscenze specialistiche di intelligenza artificiale che molte persone e organizzazioni non hanno ancora. Ma in realtà, il team ha concluso che la sicurezza dell’intelligenza artificiale ha importanti differenze concettuali rispetto alla difesa digitale tradizionale, che richiedono differenze nell’approccio del team di intelligence artificiale al proprio lavoro.
“Quando abbiamo iniziato, la domanda era: ‘Cosa farai fondamentalmente di diverso? Perché abbiamo bisogno di un team di intelligence artificiale?'” afferma Ram Shankar Siva Kumar, il fondatore del team di intelligence artificiale di Microsoft. “Ma se consideri il team di intelligence artificiale solo come un team di intelligence artificiale tradizionale e se adotti solo la mentalità della sicurezza, potrebbe non essere sufficiente. Ora dobbiamo riconoscere l’aspetto della responsabilità dell’intelligenza artificiale, che è l’accountability dei fallimenti dei sistemi di intelligenza artificiale, quindi generare contenuti offensivi, generare contenuti infondati. Questo è il Santo Graal del team di intelligence artificiale. Non solo guardare ai fallimenti della sicurezza, ma anche ai fallimenti dell’intelligenza artificiale responsabile.”
Shankar Siva Kumar afferma che è stato necessario del tempo per evidenziare questa distinzione e dimostrare che la missione del team di intelligence artificiale avrebbe realmente avuto questo doppio focus. Molto del lavoro iniziale riguardava il rilascio di strumenti di sicurezza più tradizionali come la Matrice delle Minacce di Apprendimento Automatico Avversario del 2020, una collaborazione tra Microsoft, il gruppo di ricerca e sviluppo senza scopo di lucro MITRE e altri ricercatori. Quell’anno, il gruppo ha anche rilasciato strumenti di automazione open source per i test di sicurezza dell’intelligenza artificiale, noti come Microsoft Counterfit. E nel 2021, il team di intelligence artificiale ha pubblicato un ulteriore framework di valutazione del rischio di sicurezza dell’intelligenza artificiale.
Nel tempo, però, il team di intelligence artificiale è stato in grado di evolversi e ampliarsi man mano che l’urgenza di affrontare difetti e fallimenti nell’apprendimento automatico diventa sempre più evidente.
- Cos’è OAO e cosa fa?
- 10 Uova di Pasqua nascoste in macOS
- Mantenere sicuro OAuth 5 migliori pratiche di sicurezza
In una delle prime operazioni, il team di intelligence artificiale ha valutato un servizio di distribuzione cloud di Microsoft che aveva un componente di apprendimento automatico. Il team ha ideato un modo per lanciare un attacco di negazione del servizio su altri utenti del servizio cloud sfruttando una falla che consentiva loro di creare richieste malevole per abusare dei componenti di apprendimento automatico e creare strategicamente macchine virtuali, i sistemi informatici emulati usati nel cloud. Posizionando attentamente le macchine virtuali in posizioni chiave, il team di intelligence artificiale poteva lanciare attacchi “noisy neighbor” su altri utenti del cloud, in cui l’attività di un cliente influisce negativamente sulle prestazioni di un altro cliente.
Il team di intelligence artificiale alla fine ha costruito e attaccato una versione offline del sistema per dimostrare che le vulnerabilità esistevano, anziché rischiare di influire sugli effettivi clienti di Microsoft. Ma Shankar Siva Kumar afferma che queste scoperte nei primi anni hanno rimosso ogni dubbio o domanda sull’utilità di un team di intelligence artificiale. “È lì che la lampadina si è accesa per le persone”, dice. “Hanno pensato: ‘Mamma mia, se le persone possono fare questo, non è buono per il business’.”
In modo cruciale, la natura dinamica e multiforme dei sistemi di intelligenza artificiale significa che Microsoft non sta solo vedendo gli attacchi più potenti rivolti alle piattaforme di intelligenza artificiale. “Alcuni degli attacchi innovativi che stiamo osservando su grandi modelli di linguaggio, in realtà basta un adolescente con una lingua colorita, un utente occasionale con un browser, e non vogliamo sottovalutare questo”, afferma Shankar Siva Kumar. “Ci sono APT, ma riconosciamo anche quella nuova generazione di persone in grado di abbattere i modelli di linguaggio e di emularli.”
Tuttavia, come ogni team di intelligence artificiale, il team di intelligence artificiale di Microsoft non si limita a studiare gli attacchi attualmente utilizzati. Shankar Siva Kumar afferma che il gruppo si concentra su anticipare quali potrebbero essere le tendenze degli attacchi in futuro. E questo spesso comporta un’enfasi sull’aspetto della responsabilità dell’intelligenza artificiale più recente della missione del team di intelligence artificiale. Quando il gruppo trova una vulnerabilità tradizionale in un’applicazione o in un sistema software, collabora spesso con altri gruppi all’interno di Microsoft per risolverla anziché prendere il tempo per sviluppare e proporre una soluzione autonomamente.
“Ci sono altri team di intelligence artificiale all’interno di Microsoft e altri esperti di infrastruttura di Windows o di ciò di cui abbiamo bisogno”, afferma Shankar Siva Kumar. “La mia intuizione è che ora il team di intelligence artificiale comprende non solo i fallimenti della sicurezza, ma anche i fallimenti dell’intelligenza artificiale responsabile.”
