Le Big Tech hanno abbandonato la fiducia e la sicurezza. Ora le startup la stanno rivendendo come servizio
Le Big Tech hanno deluso la fiducia e la sicurezza. Ora le startup la stanno riacquistando come servizio
I licenziamenti di massa nel settore tecnologico hanno colpito duramente i team di fiducia e sicurezza nel corso dell’ultimo anno. Ma con le guerre in corso in Ucraina e Medio Oriente e più di 50 elezioni che si terranno nei prossimi 12 mesi, gli esperti si preoccupano che un’industria nascente di startup create per mantenere le persone al sicuro online non sarà in grado di farvi fronte.
I tagli hanno fatto notizia un anno fa, quando X (allora Twitter) ha licenziato 3.700 persone, tra cui centinaia di ruoli di fiducia e sicurezza. Da allora, Meta, Alphabet e Amazon hanno effettuato tagli simili. I licenziamenti presso X hanno ispirato altre piattaforme a fare lo stesso, sostiene Sabhanaz Rashid Diya, direttore fondatore presso il think tank di politica tecnologica Tech Global Institute e ex membro del team di politica di Meta. “In molti modi, Twitter se l’è cavata”, dice. “Ciò ha dato alle altre aziende la fiducia di dire: ‘Sai cosa? Va bene. Puoi sopravvivere e non affrontare una terribile conseguenza'”.
Tuttavia, il costo di questi tagli è argomentabile già evidente nel modo in cui le principali piattaforme si sono affrettate a rispondere alla guerra tra Israele e Hamas. E il passaggio dai team interni di fiducia e sicurezza ha creato un’opportunità per consulenze e startup di offrire qualcosa di nuovo: fiducia e sicurezza come servizio.
Queste aziende, molte delle quali fondate e gestite da persone con un background nelle grandi aziende tecnologiche, permettono alle piattaforme di “acquistare anziché creare” servizi di fiducia e sicurezza, afferma Talha Baig, ex ingegnere di Meta la cui startup, Sero AI, ha recentemente ricevuto il supporto dell’acceleratore Y Combinator. “C’è molto più lavoro sul mercato e ci sono anche molti più clienti disposti ad acquistare quella forza lavoro”.
Tuttavia, gli esperti avvertono che l’esternalizzazione di fiducia e sicurezza significa anche esternalizzare responsabilità a team senza potere per cambiare effettivamente il modo in cui le piattaforme funzionano.
- Un’intensificata sorveglianza israeliana ha messo la Cisgiord...
- WeWork ha appena presentato una richiesta di fallimento
- AI e media consento idee brillanti il nuovo ruolo di Pernille Holbø...
Sahar Massachi, ex membro del team di integrità civica di Meta e cofondatore e direttore esecutivo dell’Istituto di Integrità, si preoccupa che, esternalizzando funzioni chiave, le piattaforme possano compromettere la loro capacità di migliorare i prodotti. Le questioni di fiducia e sicurezza possono talvolta riguardare più il design del prodotto che la moderazione attiva: un utente dovrebbe poter condividere nuovamente i contenuti? Quanto peso dovrebbero avere diverse metriche all’interno di un algoritmo di raccomandazione? “I fornitori potrebbero essere fantastici, ma non saranno in grado di avere una visione di ciò a causa dei modi in cui le aziende lavorano”, afferma Massachi.
Lo stesso vale per i sistemi di intelligenza artificiale utilizzati dalle aziende per individuare contenuti potenzialmente pericolosi o abusivi. Le piattaforme spesso utilizzano enormi quantità di dati per costruire strumenti interni che aiutano a semplificare quel processo, afferma Louis-Victor de Franssu, cofondatore della piattaforma di fiducia e sicurezza Tremau. Ma molte di queste aziende devono fare affidamento su modelli disponibili commercialmente per costruire i loro sistemi, il che potrebbe introdurre nuovi problemi.
“Ci sono aziende che dicono di vendere intelligenza artificiale, ma in realtà ciò che fanno è raggruppare diversi modelli”, afferma Franssu. Questo significa che un’azienda potrebbe combinare diversi modelli di apprendimento automatico, ad esempio uno che individua l’età di un utente e un altro che individua la nudità per individuare potenziali materiale di abuso sessuale minorile, in un servizio offerto ai clienti.
E sebbene ciò possa rendere i servizi più economici, significa anche che qualsiasi problema in un modello utilizzato da un esternalizzatore sarà replicato tra i suoi clienti, afferma Gabe Nicholas, ricercatore presso il Center for Democracy and Technology. “Dal punto di vista della libertà di parola, ciò significa che se c’è un errore su una piattaforma, non puoi portare il tuo discorso altrove: se c’è un errore, quell’errore si diffonderà ovunque”. Questo problema può essere aggravato se diversi esternalizzatori utilizzano modelli fondamentali uguali.
Esternalizzando funzioni critiche a terzi, le piattaforme potrebbero anche rendere più difficile per le persone capire dove vengono prese le decisioni di moderazione o per la società civile – i think tank e le organizzazioni non profit che monitorano attentamente le principali piattaforme – sapere dove posizionare la responsabilità per i fallimenti.
“Molti spettatori parlano come se fossero le grandi piattaforme a prendere le decisioni. È qui che molte persone dell’accademia, della società civile e del governo indirizzano le loro critiche”, afferma Nicholas. “L’idea che potremmo indirizzare tutto nel posto sbagliato è un pensiero spaventoso.”
Storicamente, grandi aziende come Telus, Teleperformance e Accenture venivano incaricate di gestire una parte fondamentale del lavoro di fiducia e sicurezza esternalizzato: la moderazione dei contenuti. Questo spesso sembrava simile a un call center, con un gran numero di dipendenti a basso costo che analizzavano manualmente i post per decidere se violavano le politiche della piattaforma su cose come discorsi di odio, spam e nudità. Le nuove startup di fiducia e sicurezza si stanno orientando sempre di più verso l’automazione e l’intelligenza artificiale, specializzandosi spesso in determinati tipi di contenuti o aree tematiche, come il terrorismo o l’abuso sessuale sui minori, o concentrandosi su un determinato mezzo, ad esempio testo rispetto a video. Altre stanno sviluppando strumenti che consentono al cliente di eseguire vari processi di fiducia e sicurezza attraverso un’unica interfaccia.
Le grandi aziende tech tendono a considerare la fiducia e la sicurezza come un centro costi, afferma Baig, qualcosa che devono fare per tenere a bada regolatori e gruppi della società civile, ma senza un grande valore monetario. Ma presto potrebbe cambiare. Ad esempio, il Digital Services Act dell’Unione Europea e il Online Safety Act del Regno Unito hanno creato nuovi obblighi per le aziende tech, grandi e piccole, di monitorare ciò che accade sulle loro piattaforme, e queste leggi permettono ai governi di comminare multe salate.
“Le aziende non cambiano il modo in cui moderano i contenuti sulla loro piattaforma per ottenere un’efficienza del 5, 10 o 30 percento”, dice Franssu di Tremau. “Ciò che le motiverà sarà la paura di subire multe, soprattutto multe come il 6% del fatturato annuo globale o responsabilità penale, come potremmo vedere nel Regno Unito.”
Le nuove normative nel Regno Unito e in Europa avranno un impatto anche sui piccoli provider, in particolare per quanto riguarda il tipo di contenuto e servizi a cui i minori possono accedere. Le startup potrebbero preferire acquistare fiducia e sicurezza come servizio anziché costruire i propri team e sistemi, afferma Sara Ittelson, partner del fondo di venture capital Accel, che ha investito nello strumento di fiducia e sicurezza Cinder. “In passato si pensava che le questioni di fiducia e sicurezza emergessero solo per piattaforme di una certa dimensione”, afferma. “Ma in realtà, le si affrontano molto presto.” E le persone, sostiene, alla fine non vogliono utilizzare piattaforme su cui non si sentono sicure o che sono piene di contenuti spazzatura.
L’esplosione di interesse nell’intelligenza artificiale generativa ha solo aumentato la pressione sulle aziende per affrontare le questioni di fiducia e sicurezza più precocemente nel loro ciclo di vita. Gli strumenti di intelligenza artificiale generativa possono ora essere utilizzati per produrre e condividere materiale abusivo sessuale sui minori e pornografia non consensuale, entrambi violerebbero le linee guida della maggior parte delle piattaforme. “C’è una consapevolezza molto maggiore su come questi strumenti possano essere sfruttati”, afferma Ittelson. Ciò ha posto domande alle aziende su come faranno a garantire che le loro piattaforme non siano invade da contenuti di intelligenza artificiale generativa o come garantiranno che i loro strumenti non siano abusati.
“Gen AI sta rendendo tutto 10 volte peggio”, dice Dror Nahumi, partner di Norwest Venture Partners, che ha investito nella startup di fiducia e sicurezza ActiveFence. “Se sono un cattivo attore e prima creavo un articolo a settimana, ora potrei creare 10 post diversi nella stessa settimana senza fare alcuno sforzo aggiuntivo.”
Anche se gli investitori che hanno parlato con ENBLE erano restii a ipotizzare la dimensione potenziale dell’industria della fiducia e sicurezza come servizio, ActiveFence, fondata nel 2017 e tra i giocatori più anziani del settore, ha raccolto 100 milioni di dollari nel 2021 ed è stata valutata a circa mezzo miliardo di dollari nel 2021. E il suo cofondatore, Noam Schwartz, afferma che questa valutazione è aumentata.
Anche se è ancora agli inizi, l’industria è chiaramente in crescita. “È esattamente quello che succedeva nell’industria della sicurezza informatica 20 anni fa”, dice Schwartz. Un rapporto del 2020 della società di venture capital Paladin Capital ha rivelato che l’industria aveva già raccolto oltre 1 miliardo di dollari di finanziamenti, e un rapporto del 2023 del Dipartimento per la Scienza, l’Innovazione e la Tecnologia del Regno Unito ha stimato che la “Tecnologia della Sicurezza,” che include tutto, dalla moderazione dei contenuti alla rilevazione delle truffe, avrebbe raggiunto un fatturato di 1 miliardo di sterline ($1.22 miliardi) entro la metà degli anni 2020.
Anche se Nahumi afferma che i licenziamenti delle grandi aziende tecnologiche potrebbero indicare, momentaneamente, una minore propensione a investire nella fiducia e nella sicurezza in generale, “nel lungo termine, lo vediamo come una cosa positiva per le aziende del settore perché significa che [le aziende tech] dovranno fare sempre più affidamento su servizi offerti da aziende specializzate nel settore, e non su qualcosa creato internamente.”
