Usare ChatGPT per la contabilità? Potresti voler ripensarci
Utilizzare ChatGPT per la gestione contabile? Forse dovresti riconsiderare la tua scelta
Nell’ultimo anno circa, il grande modello di linguaggio (LLM) ChatGPT ha dimostrato una strabiliante capacità di superare gli esseri umani in alcune delle cose che sono il fulcro della nostra giovane vita professionale.
È riuscito a superare tutti e tre gli esami notoriamente difficili per la facoltà di medicina, ha superato l’esame di abilitazione alla professione legale e ha superato un esame MBA dalla Wharton School of Business dell’Università della Pennsylvania.
Inoltre: Che cos’è ChatGPT e perché è importante? Ecco quello che devi sapere
I punteggi ottenuti dal LLM erano graduatorie modeste. Ma la sua versione successiva – GPT-4 – si suppone sia uno studente ancora migliore del suo genitore, avendo brillantemente superato l’esame di abilitazione alla professione legale con un punteggio al 90° percentile e ottenendo voti quasi perfetti nel test GRE Verbal.
Quindi, deve essere una grande fonte di soddisfazione e sollievo per noi umani che ci sia almeno una cosa che gli LLM come ChatGPT non fanno bene – anzi, fanno terribilmente male: la contabilità.
- L’IA generativa sta svolgendo un ruolo sorprendente nella dis...
- Le aziende non stanno investendo molto sull’IA. Ecco perché q...
- iPad Mini, MacBook Pro e le batterie della Magic Keyboard presentat...
Inoltre: Come usare ChatGPT per scrivere formule Excel
Molti utenti di ChatGPT hanno commentato pubblicamente come anche le funzioni matematiche più semplici lo abbiano confuso. Tuttavia, c’è uno studio di ampie dimensioni e rigorosamente eseguito sulle capacità contabili di ChatGPT che il professore di contabilità David Wood dell’Università di Brigham Young (BYU) ha intrapreso diversi mesi fa.
Circonstanze di prova
Wood ha deciso di sfruttare il potere della fraternità contabile globale tramite un’iniziativa sui social media, cercando aiuto per mettere ChatGPT alla prova in una specie di esame contabile globale.
Ci è stata una valanga di volontari: 327 co-autori di 186 istituti educativi situati in 14 paesi hanno partecipato allo studio. Hanno raccolto complessivamente 25.181 domande di esame contabile provenienti da diverse aule, oltre a più di 2.000 domande dal dipartimento di Wood alla BYU, per sottoporre a ChatGPT.
Come in un esame contabile completo, le domande spaziavano su tutti i principali argomenti, come contabilità finanziaria, revisione contabile, contabilità manageriale, tasse e altri, e avevano diversi tipi di domande (a scelta multipla, risposte brevi, vero/falso) e livelli di difficoltà.
Inoltre: Come usare ChatGPT per creare grafici e tabelle
I risultati sono stati inequivocabili: ChatGPT ha ottenuto un punteggio del 47,4% che, di per sé, non era così male. Gli studenti, tuttavia, hanno ottenuto una media complessiva del 76,7% e hanno superato facilmente la macchina.
Secondo lo studio, l’LLM ha avuto successo in cose come la revisione contabile, ma ha avuto difficoltà ad affrontare i problemi che riguardavano le tasse, la contabilità finanziaria e valutazioni manageriali, secondo il saggio di Wood – e queste erano sezioni che coinvolgevano molta matematica.
La matematica dell’IA non torna
Molte persone non riescono a conciliare l’incapacità dell’IA di fare anche semplicemente un po’ di matematica con la sua temibile reputazione come potenziale assassina dell’umanità.
Inoltre: ChatGPT sembra essere confusa su quando termina la sua conoscenza
Eppure, il fatto è che ChatGPT è essenzialmente un programma di testo predittivo predittivo esaltato: è stato alimentato con enormi quantità di dati e quindi addestrato a riconoscere risposte giuste e sbagliate.
La sua capacità di essere straordinariamente simile all’essere umano, fornendo risposte conversazionali alle domande, deriva dal fatto che è stato creato per comprendere i pattern intrinseci al linguaggio e alla connessione tra le parole, ma non i numeri. (Ecco perché viene chiamato modello ‘linguistico’.)
L’output di queste IA LLM si basa sulla probabilità e non sull’accuratezza. L’output, per sua progettazione, è stato architettato per rappresentare una risposta che ha la più alta probabilità statistica per la domanda posta.
Inoltre: Come funziona realmente ChatGPT?
E purtroppo i numeri non funzionano in questo modo.
Le risposte che coinvolgono la matematica o molte forme di contabilità devono essere precise e non una approssimazione. Dipendono da un output esatto, come quello di una calcolatrice, e non si basano su una relazione tra le parole.
Paulo Shakarian, professore associato presso il dipartimento di ingegneria dell’Università di Arizona State, che gestisce un laboratorio di esplorazione delle sfide che l’IA deve affrontare, ha completato uno studio che ha misurato le prestazioni di ChatGPT sui problemi matematici scritti.
La risoluzione di questi problemi richiede più passaggi, che richiedono di tradurre le parole in equazioni matematiche. Ma questo tipo di processo a più passi richiede anche ragionamenti logici, che è qualcosa che l’algoritmo non è stato progettato per fare.
Inoltre: Può l’IA generativa risolvere il più grande problema irrisolto delle scienze informatiche?
“I nostri test iniziali su ChatGPT, effettuati all’inizio di gennaio, indicano che le prestazioni sono significativamente inferiori al 60% di accuratezza per gli algoritmi all’avanguardia dei risolutori dei problemi matematici scritti,” aggiunge Shakarian.
Punti di forza
Quindi, in cosa eccelle un LLM come ChatGPT?
Un altro professore, Christian Terwiesch, della Wharton School of Business dell’Università della Pennsylvania, ha avuto un’esperienza molto diversa con uno studio di caso tipico di quelli assegnati nelle scuole di business.
“Su alcuni problemi, la matematica era orribile,” ha detto Terwiesch.
Inoltre: L’IA può programmare? Solo a piccoli passi
Tuttavia, nel caso di un problema che riguarda la risoluzione di un collo di bottiglia in una fonderia di minerale di ferro ipotetica in America Latina, ChatGPT ha dato il massimo.
“Wow! Non solo la risposta è corretta, ma è anche spiegata in modo superlativo,” ha scritto Terwiesch in un articolo sulla sua esperienza. “Non vedo motivo di detrarre punti a questa risposta: A+!”
Il voto totale per l’esame MBA completo era intorno a un B o B-, afferma Terwiesch, principalmente grazie alla forza del bot nella gestione delle operazioni e nell’analisi dei processi, compiti per i quali molte persone nell’ambito finanziario e manageriale ricevono un notevole compenso.
Un’altra area di alta competenza dell’IA: sbarazzarsi delle attività tediose, come l’elaborazione delle fatture, la tabulazione e la categorizzazione delle spese, la gestione dell’immissione dei dati e altre aree simili.
Inoltre: Estensione di ChatGPT: possono davvero cambiare il gioco i plugin per chatbot AI?
Ma soprattutto, ChatGPT ha fornito a Wood, il professore di BYU, una capacità senza rivali di introspezione su ciò che il personale insegnava agli studenti e su come lo faceva.
“Quando questa tecnologia è stata introdotta per la prima volta, tutti erano preoccupati che gli studenti potessero usarla per imbrogliare,” ha detto.
“Ma le opportunità di imbrogliare sono sempre esistite. Quindi per noi, stiamo cercando di concentrarci su cosa possiamo fare con questa tecnologia ora che prima non potevamo fare per migliorare il processo di insegnamento per il personale docente e il processo di apprendimento per gli studenti. Testarlo è stato illuminante.”
Nel frattempo, probabilmente non è ancora una buona idea lasciare che un AI LLM faccia le tasse al posto tuo.
