La Caduta di Babele è un Avvertimento per gli Unicorni dell’Intelligenza Artificiale
The Fall of Babel is a Warning for Artificial Intelligence Unicorns
Nel tardo 2016, Hugh Harvey stava lavorando come medico consulente nel Servizio Sanitario Nazionale del Regno Unito. Harvey aveva sperimentato il machine learning durante il suo dottorato di ricerca e aveva visto il potenziale dell’intelligenza artificiale per rivoluzionare l’assistenza sanitaria. Ma era convinto che l’introduzione dell’IA nella medicina non sarebbe venuta dall’interno del NHS, ma dall’industria. Quindi, quando si è presentata l’opportunità in una nuova startup di tecnologia sanitaria, chiamata Babylon Health, ha deciso di candidarsi.
Fondata a Londra nel 2013 da Ali Parsa, ex banchiere britannico-iraniano, Babylon aveva un obiettivo ambizioso: voleva fare per l’assistenza sanitaria quello che Google aveva fatto per le informazioni; cioè renderle liberamente e facilmente accessibili a tutti. Quando Harvey si è unito all’azienda nel 2016, aveva già raccolto decine di milioni di dollari di finanziamenti di venture capital, anche se fino a quel momento aveva sviluppato solo un’app che permetteva ai pazienti di fare videochiamate con i loro medici. Utile, sì, ma non esattamente rivoluzionario. Il valore dell’azienda era nella sua grande ambizione di aggiungere un sintomo checker alimentato da intelligenza artificiale, che avrebbe accelerato o addirittura automatizzato le diagnosi.
Abituato alle condizioni frugali del perennemente carente di fondi NHS, Harvey dice di essere rimasto colpito dall’ambiente lussuoso: un laptop che lo aspettava sulla scrivania, un elegante ufficio nel quartiere di South Kensington a Londra, birre e pizze gratuite a pranzo. Ma presto, Harvey ha potuto dare un’occhiata al software che si trovava dietro a tutta l’emozione. Gli è stato mostrato un insieme di fogli di calcolo Excel contenenti percorsi decisionali clinici scritti da medici in formazione presso l’azienda. Avevano essenzialmente diviso il corpo in diverse parti e a seconda di quale parte del corpo l’utente cliccava, l’app avrebbe seguito ciò che chiamavano “flussi clinici” o alberi decisionali. “Ho pensato: beh, questo non è davvero intelligenza artificiale”, ricorda Harvey.
Ma nei successivi anni, l’entusiasmo intorno a Babylon continuava a crescere. Ha ottenuto contratti con il NHS e compagnie assicurative britanniche. Il gigante tecnologico cinese Tencent ha firmato un accordo per offrire servizi tramite WeChat. Il fondo sovrano dell’Arabia Saudita ha investito 550 milioni di dollari. Quando è stata quotata in borsa al New York Stock Exchange nel 2021, Babylon aveva una valutazione di 4,2 miliardi di dollari. Ma le cose stavano già andando male. Le perdite dell’azienda si stavano accumulando mentre spendeva molto per cercare di crescere. Il prezzo delle azioni è rapidamente crollato. A metà agosto di quest’anno, dopo che un accordo di salvataggio è fallito, è stato annunciato che il lato britannico dell’azienda sarebbe andato in amministrazione controllata, un processo simile alla protezione fallimentare negli Stati Uniti. L’azienda ha chiuso la sua sede negli Stati Uniti, licenziato numerosi dipendenti e ha dichiarato fallimento anche lì.
ENBLE ha parlato con tre ex dipendenti di Babylon Health per scoprire cosa è andato così male per la promessa del settore della salute digitale. Quello che dicono sul collasso dell’azienda – in un momento in cui l’interesse dei venture capitalist per l’IA e l’assistenza sanitaria è alle stelle – è un avvertimento sui pericoli di sostenere l’hype anziché i risultati concreti.
- La prossima grande evoluzione di Apple Silicon potrebbe arrivare ne...
- TikTok Shop ha un problema di bava di lumaca
- Universal Music dichiara guerra al rumore dello streaming
Né Parsa né Babylon Health hanno risposto a molteplici richieste di commento.
Parsa ha chiamato la sua azienda con il nome dell’antica città di Babilonia, che, secondo lo storico greco Erodoto, aveva una piazza dove i cittadini si riunivano per condividere consigli su come curare le loro malattie.
Gli ex dipendenti dicono che Parsa era ossessionato dal “blitzscaling”, il tipo di crescita iperaccelerata imprenditoriale resa popolare dal cofondatore di LinkedIn, Reid Hoffman. L’azienda ha avuto delle fasi di assunzioni incontrollate, dicono gli ex dipendenti, e i team spesso lavoravano su progetti sovrapposti. In un certo momento, tre team stavano lavorando su tre diverse versioni del sintomo checker, incompatibili tra loro, dice un ex dipendente che ha parlato a condizione di anonimato. L’impiegato dice di aver trovato una volta un product manager in giro per l’edificio al suo secondo giorno di lavoro. Era stato lasciato a cercare un team con cui collaborare perché nessuno lo aveva introdotto o gli aveva detto dove avrebbe dovuto stare. “Ha pensato che fosse una sorta di ‘sfida’ di inserimento per trovare un team a cui unirsi”, dice l’impiegato.
La dirigenza aziendale ha subito molti cambiamenti. I dirigenti di alto livello andavano in ritiri ad Antigua, cosa che non era ben nota al personale, fino a quando non è trapelata su un canale Slack pubblico. Parsa “una volta ha fatto una presentazione in piedi da Antigua fingendo di essere nel suo ufficio”, dice un ex dipendente. Ex dipendenti dicono che lo stile di leadership di Parsa era “idiosincratico” e “occasionale megalomaniaco”. A un certo punto, Parsa ha cercato di vietare l’uso di Microsoft PowerPoint in azienda. Gli impiegati, che Parsa chiamava Babilonesi, venivano rimproverati dal CEO se lasciavano alle 17:30, dice Harvey.
La corsa di Parsa per la crescita ha superato la capacità di Babylon Health di effettivamente produrre prodotti finiti, secondo gli ex dipendenti. Dopo che Harvey si è unito, l’azienda gli ha assicurato che il suo team di scienziati dei dati stava lavorando su una knowledge graph, che collega i frammenti di conoscenza attraverso le probabilità. Ciò che sembrava era Harvey e i suoi colleghi clinici che rispondevano a migliaia di domande mediche, come “Qual è la probabilità che una persona con ittero abbia l’epatite?” Le domande divenivano progressivamente più dettagliate; ad esempio, qual è la probabilità che una persona abbia due settimane di ittero e abbia l’epatite B?
“Le domande divennero sempre più ridicole e non correlate”, dice Harvey – e non era ancora davvero intelligenza artificiale. (Un altro ex dipendente di Babylon Health, che lavorava nel team di intelligenza artificiale, sostiene che è probabile che il team di apprendimento automatico abbia mostrato a Harvey fogli Excel per semplicità, ma ammette che il modello ad albero decisionale non era “particolarmente sofisticato”.)
In un momento dato, la BBC aveva programmato di visitare l’ufficio per filmare la tecnologia. Ma c’era un problema: l’app non era ancora stata completata. Era stata modellata solo per la gastroenterologia; fondamentalmente, problemi allo stomaco. Non aveva un’interfaccia, quindi Harvey ricorda che uno scienziato dei dati dovette dormire in ufficio per diverse notti e nel fine settimana mentre si affrettavano a costruire qualcosa che assomigliasse a un’app. “Ma tutti sapevamo… che non è il prodotto che stiamo creando”, dice Harvey. “Questo è un mock-up di qualcosa che è stato messo insieme in fretta con molte ore-uomo per dimostrare alla BBC”. Il racconto di Harvey è stato confermato da un altro ex dipendente.
L’app di Babylon per il controllo dei sintomi, chiamata GP at Hand, è stata lanciata nel 2017, promettendo di aiutare a affrontare le lunghe liste di attesa del NHS automatizzando alcune richieste dei pazienti.
Il ruolo di Harvey a Babylon era ottenere il via libera dai regolatori affinché l’app potesse essere utilizzata per il triage dei pazienti – una valutazione preliminare che determina quanto urgentemente un paziente ha bisogno di essere visto da un medico. Ma questa non era la linea ufficiale. Parsa stava dicendo pubblicamente nel 2017 che poteva diagnosticare i pazienti: una dichiarazione molto più grandiosa. Harvey dice che Parsa gli si avvicinava quasi ogni giorno per chiedere se avessero ottenuto l’autorizzazione regolamentare. Harvey spiegava che l’avrebbero ottenuta – ma solo per il triage.
Nel corso dell’anno, l’azienda ha affermato che la sua intelligenza artificiale funzionava meglio degli umani in un esame utilizzato per testare la capacità dei medici di diagnosticare (una affermazione che è stata rapidamente messa in discussione dagli esperti). A quel punto, Harvey aveva lasciato l’azienda ed era tornato al NHS come radiologo consulente. Ma l’app GP at Hand è cresciuta in popolarità, sebbene non senza critiche da parte dei professionisti sanitari.
Uno dei primi a sollevare l’allarme sull’efficacia dell’intelligenza artificiale di Babylon Health è stato un consulente oncologo per il NHS, David Watkins. Tweettando inizialmente con lo pseudonimo @DrMurphy11, Watkins documentava regolarmente online le deviazioni insolite dalla norma clinica che il bot avrebbe preso, come chiedere a una donna di 66 anni preoccupata per un nodulo al seno se era incinta o se allattava al seno, e non riuscire a individuare i sintomi di un attacco di cuore. L’azienda lo ha definito un “troll” in una dichiarazione pubblica. Ma le preoccupazioni di Watkins sono state riferite anche all’interno dell’azienda e, a quanto pare, dall’autorità di regolamentazione medica del Regno Unito.
Un rapporto del 2017 dalla Care Quality Commission, l’autorità di regolamentazione dei servizi sanitari e sociali in Inghilterra, ha messo in dubbio la sicurezza e l’efficacia dei servizi dell’azienda – per cui Babylon ha minacciato di querelare. Nel 2019, ENBLE ha riferito che Babylon costava al NHS oltre 26 milioni di sterline ($32 milioni). Poi, nel 2020, l’azienda ha ammesso che la sua app GP at Hand aveva subito una violazione dei dati che ha permesso agli utenti di vedere decine di consulenze video effettuate da altri pazienti. E, anche mentre il suo servizio veniva adottato in tutto il paese, Babylon Health stava lottando per rendere il suo modello redditizio nel Regno Unito. Parsa ha attribuito il suo fallimento a problemi strutturali all’interno del NHS che hanno impedito di ottenere un profitto. Ha interrotto il suo ultimo contatto con il NHS nell’agosto dello scorso anno.
Ma Parsa aveva da tempo ambizioni di espandersi a livello globale. L’azienda ha aperto un’attività in Canada, ma ha venduto le sue operazioni lì nel 2021 nell’ambito di un accordo di concessione di licenza. Lo stesso anno, un’indagine del governo canadese ha rilevato che l’app non era conforme alle normative sulla privacy del paese. Babylon ha spostato la sua attenzione negli Stati Uniti, dove poteva guadagnare di più attraverso i programmi assicurativi sanitari Medicaid e Medicare. Parsa si è persino trasferito lì.
Ma anche l’impresa negli Stati Uniti era destinata al fallimento. Stava entrando in un mercato molto affollato e non era pronto a competere. “Ci sono molte aziende di telemedicina a livello nazionale che sono state qui molto più a lungo di Babylon”, dice Christina Farr, un investitore di tecnologia sanitaria presso OMERS Ventures a San Francisco.
Un ex dipendente dice che Parsa non comprendeva appieno che gli Stati Uniti erano un mercato maturo. La goccia che ha fatto traboccare il vaso per l’impiegato è stata quando ha visto che veniva redatto un contratto per fornire servizi di telemedicina in Missouri tramite Medicaid. Fondamentalmente, Babylon si sarebbe assunto tutta la responsabilità finanziaria e le responsabilità finanziarie di un’assicurazione sanitaria, ma senza alcuno dei premi altissimi richiesti per coprire quel tipo di responsabilità. “Ho detto: ‘No, assolutamente no'”, dice l’ex dipendente. “Questo finirà male e non voglio essere qui quando succederà”. Hanno dato le dimissioni.
Anche il debutto in borsa dell’azienda è andato rapidamente in malora. Entro 18 mesi dalla quotazione, le sue azioni erano scese del 99%. Parsa ha descritto il crollo come una “disfatta incredibile e incontenibile”. Non era così sorprendente. Nonostante Babylon stesse generando entrate, stava perdendo molti soldi. Nel 2022, l’azienda ha perso 221 milioni di dollari. Nei primi tre mesi del 2023, ha perso ulteriori 63 milioni di dollari. Nel maggio 2023, il principale creditore dell’azienda, Albacore Capital, ha preso l’azienda in privato e ha cercato di unirla a un’altra azienda di tecnologia sanitaria, MindMaze. La fusione è fallita all’inizio di agosto.
Babylon non è la prima azienda all’interfaccia tra intelligenza artificiale e assistenza sanitaria ad avere difficoltà a passare dall’entusiasmo al successo commerciale. Il suo destino “pone interrogativi su come commercializzare l’IA nell’assistenza sanitaria”, afferma David Wong, professore associato di informatica sanitaria e scienza dei dati presso l’Università di Leeds nel Regno Unito. Wong fa riferimento a un altro fallimento: il crollo di Sensyne Health, una startup di intelligenza artificiale, che ha causato una perdita di 18 milioni di dollari a due fiduciarie del Servizio Sanitario Nazionale quando è stata cancellata dalla Borsa di Londra nel 2022. Lo stesso anno, IBM ha abbandonato Watson Health. Olive AI, una startup di automazione sanitaria valutata 4 miliardi di dollari nel 2021, ha licenziato un terzo del suo personale nel febbraio 2023.
La ragione per cui aziende come Babylon falliscono, dicono gli esperti, è semplicemente che è difficile sostituire i clinici di carne e ossa con un algoritmo e c’è una discrepanza intrinseca tra la cultura di muoversi velocemente e rompere le cose delle startup tecnologiche e quella dell’assistenza sanitaria, dove prendersi cura dei pazienti richiede riflessione e contesto.
“Penso che probabilmente la parte difficile del mondo delle startup sia che ci sono molte persone con idee e la maggior parte di loro non funzionerà”, dice Wong. “E penso che se ci fossero più clinici a bordo, la maggior parte di loro sarebbe molto veloce nel dirti quali hanno una possibilità di funzionare e quali no”.
