Possono i rilevatori di intelligenza artificiale salvarci da ChatGPT? Ho provato 5 strumenti online per scoprirlo

Possono i sistemi di rilevazione dell'intelligenza artificiale salvare dall'impatto di ChatGPT? Ho testato 5 strumenti online per scoprirlo

Quando ho iniziato a considerare la questione di se sia possibile combattere il plagio generato da IA e come potrebbe funzionare, era gennaio 2023, solo pochi mesi dopo la crescente consapevolezza mondiale riguardo l’IA generativa. Ora, quasi un anno dopo, sembra che abbiamo esplorato l’IA generativa per anni e anni, ma in realtà abbiamo esaminato il problema solo per qualche mese.

In ogni caso, questa è una versione aggiornata di quell’articolo originale di gennaio. Quando ho testato per la prima volta i rilevatori di GPT, ne ho utilizzati tre: il Rilevatore di Output GPT-2, il Rilevatore di Contenuti AI di Writer.com e il Rilevatore di Contenuti AI su Larga Scala. Il miglior risultato è stato del 66% corretto, ottenuto dal Rilevatore di Output GPT-2. Questa volta, ne aggiungo altri tre: GPTZero, ZeroGPT (sì, sono diversi) e il Rilevatore GPT di Writefull.

Inoltre: Come utilizzare ChatGPT: Tutto ciò di cui hai bisogno

Purtroppo, sto rimuovendo il Rilevatore di Contenuti AI di Writer.com dalla nostra suite di test perché ha fallito già a gennaio e ha fallito di nuovo ora. Di seguito un commento inviato dalla compagnia dopo la pubblicazione dell’articolo originale a gennaio.

Prima di procedere, però, dobbiamo parlare del concetto di plagio e di come si relaziona al nostro problema. Webster’s definisce “plagiare” come “rubare e presentare (le idee o le parole di un altro) come proprie; usare (la produzione di un altro) senza riconoscere la fonte”.

• Chi è responsabile dell’esplosione dell’ospedale di Gaz...
• Netflix si lancia nella trasmissione sportiva con un torneo di golf...
• Sviluppo di carriera per ingegneri di Machine Learning strategie di...

Questa definizione si adatta ai contenuti creati dall’IA. Mentre qualcuno che utilizza uno strumento di IA come Notion AI o ChatGPT non sta rubando contenuti, se quella persona non accredita le parole come provenienti da un’intelligenza artificiale e afferma che sono sue, essa comunque soddisfa la definizione di plagio del dizionario.

Inoltre: I migliori generatori d’immagini AI da provare

In questo articolo sperimentale, ho chiesto aiuto a ChatGPT. Le mie parole sono normali e in grassetto. Le parole dell’IA sono in corsivo. Dopo ogni sezione generata dall’IA, mostrerò i risultati dei rilevatori. Alla fine dell’articolo, analizzeremo quanto bene si sono comportati i rilevatori complessivamente.

Ecco il risultato del testo sopra, che ho scritto io stesso:

• Rilevatore di Output GPT-2: 99,98% reale
• Rilevatore di Contenuti AI su Larga Scala: 100% Molto probabile che sia umano!
• GPTZero: I tuoi testi hanno maggior probabilità di essere scritti interamente da un essere umano
• ZeroGPT: 28,9% AI GPT È molto probabile che i tuoi testi siano scritti da un essere umano
• Rilevatore GPT di Writefull: 1% è probabile che ciò provenga da GPT-3, GPT-4 o ChatGPT

Contenuto scritto da un umano: 4 su 5 corretti

Detto questo, approfondiamo un po’ di più.

Spieghiamo perché ChatGPT può essere un vero problema per insegnanti e editori quando si parla di plagio

ChatGPT è una variante del modello linguistico GPT (Generative Pre-trained Transformer) sviluppato da OpenAI. È progettato per generare testo simile a quello umano prevedendo la parola o la frase successiva in una sequenza di input fornita. Sebbene ChatGPT possa essere uno strumento utile per generare testo e rispondere a domande, può anche rappresentare un problema per insegnanti e editori quando si tratta di plagio.

Uno dei principali motivi per cui ChatGPT può essere un problema per insegnanti e editori è che può generare testi molto simili a quelli degli scrittori umani reali. Ciò significa che gli studenti o altre persone potrebbero potenzialmente utilizzare ChatGPT per generare testi che potrebbero poi presentare come propri, commettendo così il plagio.

Inoltre: Finalmente è stata lanciata l’app ufficiale di ChatGPT per Android

Per insegnanti e editori, individuare se un determinato testo è stato generato da ChatGPT o scritto da un essere umano può essere molto difficile, in quanto il testo generato potrebbe non contenere errori o incongruenze evidenti che ne rivelerebbero l’origine artificiale. Ciò può rendere difficile per insegnanti e editori identificare e prevenire il plagio, poiché potrebbero non essere in grado di capire se un determinato testo è originale o copiato da un’altra fonte.

In generale, ChatGPT e altri modelli linguistici simili possono rappresentare un problema per insegnanti e editori quando si tratta di plagio, perché possono generare testi difficili da distinguere da quelli scritti da esseri umani, agevolando così gli studenti e altre persone a commettere plagio senza essere scoperti.

• Rivelatore di output GPT-2: 99,69% reale
• Rilevamento dei contenuti di Content at Scale AI: 3% molto probabile che sia generato da un’intelligenza artificiale!
• GPTZero: Suggeriamo di inserire un testo più lungo per una previsione più precisa
• ZeroGPT: 51,22% Il tuo testo è generato da un’intelligenza artificiale/GPT
• Rilevatore GPT di Writefull: 12% probabile che provenga da GPT-3, GPT-4 o ChatGPT

Contenuto scritto dall’intelligenza artificiale: 1 su 5 corretti (a malapena)

Ricorda, il testo in corsivo è stato generato dall’intelligenza artificiale.

Mostrami almeno tre modi per individuare se ChatGPT è stato utilizzato per produrre un testo

Ci sono diversi modi per individuare se ChatGPT o un altro modello linguistico è stato utilizzato per produrre un testo. Ecco tre possibili approcci che potresti utilizzare:

1. Cerca modelli ripetitivi o insoliti nel testo: Un modo per individuare se un modello linguistico è stato utilizzato per generare un testo è cercare modelli ripetitivi o insoliti nella scrittura. Ad esempio, i modelli linguistici possono ripetere determinate frasi o combinazioni di parole, o utilizzare strutture di frase insolite o inconsistenti.
2. Verifica la mancanza di originalità: Un altro modo per individuare se un modello linguistico è stato utilizzato per generare un testo è verificare la mancanza di originalità nella scrittura. Se un testo sembra essere copiato da un’altra fonte o contiene informazioni ampiamente disponibili su Internet o in altre fonti, potrebbe essere un segno che è stato generato da un modello linguistico.
3. Utilizza un controllo del plagio: Infine, puoi utilizzare un controllo del plagio per verificare se un testo sembra essere copiato da un’altra fonte. Sebbene un controllo del plagio potrebbe non essere in grado di determinare in modo definitivo se un modello linguistico è stato utilizzato per generare un testo, può aiutarti a individuare casi di copiatura o parafrasatura da altre fonti.
4. Fai attenzione quando la risposta è ovviamente errata: Ne ho parlato nella mia recensione di Notion AI, in cui ho evidenziato alcuni testi scritti dall’intelligenza artificiale con apparente autorità, ma che erano palesemente sbagliati. Se uno studente o uno scrittore non ha una piena padronanza del tema trattato, potrebbe non notare le imprecisioni e lasciarle semplicemente nella risposta generata dall’intelligenza artificiale. Naturalmente, le affermazioni errate non sono solo prerogativa di un tool di scrittura basato su intelligenza artificiale. Molti blogger e commentatori, ad esempio, si limitano a ripetere le affermazioni di altri blogger, creando un echo chamber di “falsi fatti” completi, dimostrando che mentre l’intelligenza può essere artificiale, la stupidità è un tratto universale.

Tieni presente che può essere difficile determinare definitivamente se è stato utilizzato un modello linguistico per generare un testo e questi metodi potrebbero non sempre essere efficaci. Tuttavia, possono essere strumenti utili per aiutarti a individuare possibili casi di testo generato da un modello linguistico.

In questo set di test, solo il contenuto in corsivo sopra è stato esaminato mediante il suite di controllo.

• Rilevatore di Output GPT-2: 99,98% falso
• Rilevatore di Contenuti di Scale AI: 99% Molto probabile che sia umano!
• GPTZero: Il tuo testo potrebbe includere parti scritte da IA
• ZeroGPT: 91,35% AI GPT Il tuo Testo è generato da IA/GPT
• Rilevatore di GPT di Writefull: 77% probabile che provenga da GPT-3, GPT-4 o ChatGPT

Contenuto scritto da IA: 4 su 5 corretti

Elenca tre strumenti per la verifica del plagio in grado di individuare testi generati da ChatGPT

Vale la pena notare che al momento non esiste un controllo di plagio specificamente progettato per individuare testi generati da ChatGPT o altri modelli linguistici. Anche se alcuni controlli di plagio potrebbero essere in grado di individuare determinate caratteristiche di testi generati da modelli linguistici che potrebbero indicarne l’origine artificiale, non c’è garanzia che saranno in grado di determinare definitivamente se un testo è stato generato da un modello linguistico.

Tuttavia, ecco tre strumenti per il controllo del plagio che potresti considerare di utilizzare per individuare possibili casi di testi generati da modelli linguistici:

1. Turnitin: Turnitin è un popolare controllo di plagio ampiamente utilizzato da scuole e università. Confronta un testo con un database di altri testi per individuare casi di copiatura o parafrasando. Anche se potrebbe non essere in grado di determinare definitivamente se un testo è stato generato da un modello linguistico, potrebbe potenzialmente individuare determinate caratteristiche di testi generati da modelli linguistici che potrebbero indicarne l’origine artificiale.
2. PlagScan: PlagScan è un altro controllo di plagio che confronta un testo con un database di altri testi per individuare casi di copiatura o parafrasando. Come Turnitin, potrebbe essere in grado di individuare determinate caratteristiche di testi generati da modelli linguistici che potrebbero indicarne l’origine artificiale, ma non è specificamente progettato per individuare testi generati da modelli linguistici.
3. Copyleaks: Copyleaks è un controllo di plagio che utilizza algoritmi avanzati di apprendimento automatico per analizzare un testo e confrontarlo con un database di altri testi per individuare casi di copiatura o parafrasando. Anche se potrebbe essere in grado di individuare determinate caratteristiche di testi generati da modelli linguistici, non è specificamente progettato per individuare testi generati da modelli linguistici.

Vale la pena notare che nessun controllo di plagio è completamente infallibile e c’è sempre la possibilità che un testo generato da un modello linguistico possa sfuggire alla rilevazione. Pertanto, è importante utilizzare i controlli di plagio come parte integrante di una strategia più ampia per individuare e prevenire il plagio.

• Rilevatore di output GPT-2: 99,58% reale
• Rilevatore di Contenuti di Scale AI: 100% Molto probabile che sia umano!
• GPTZero: Il tuo testo potrebbe includere parti scritte da IA
• ZeroGPT: 100% AI GPT Il tuo Testo è generato da IA/GPT
• Rilevatore di GPT di Writefull: 88% probabile che provenga da GPT-3, GPT-4 o ChatGPT

Contenuto scritto da IA: 3 su 5 corretti

Controllori di plagio online per IA

Molti strumenti per il controllo del plagio vengono utilizzati per confrontare i testi con un corposo di altri testi. Ad esempio, quando uno studente consegna un saggio, un prodotto come Turnitin analizza l’essays consegnato confrontandolo con una vasta biblioteca di altri saggi nel suo database, nonché con altri documenti e testi presenti su Internet per determinare se l’essays consegnato contiene contenuti già scritti.

Tuttavia, gli strumenti di scrittura IA generano contenuti originali, almeno in teoria. Sì, costruiscono il loro contenuto partendo da ciò su cui sono stati addestrati, ma le parole effettive che compongono sono in qualche modo uniche per ogni composizione.

Inoltre: Le 10 migliori estensioni per ChatGPT al momento

Di conseguenza, i controllori di plagio sopra menzionati probabilmente non funzioneranno, perché il contenuto generato dall’IA probabilmente non esisteva, diciamo, in un altro documento di uno studente.

In questo articolo, stiamo solo analizzando i rilevatori GPT. Ma il plagio è un grosso problema e, come abbiamo visto, alcuni scelgono di definire il plagio come qualcosa che rivendichi come tua ma che non hai scritto, mentre altri scelgono di definire il plagio come qualcosa scritto da qualcun altro che rivendichi come tuo.

Quella distinzione non è mai stata un problema fino ad ora. Ora che abbiamo scrittori non umani, la distinzione sul plagio è più sfumata. Sta a ogni insegnante, scuola, redattore e istituzione decidere esattamente dove tracciare quella linea.

• GPT-2 Output Detector: 99,98% reale
• Content at Scale AI Content Detection: 100% Altamente probabile che sia scritto da un umano!
• GPTZero: Il tuo testo è probabilmente scritto interamente da un umano
• ZeroGPT: 0% GPT dell’IA, il tuo testo è scritto da un umano
• Writefull GPT Detector: 1% probabile che provenga da GPT-3, GPT-4 o ChatGPT

Contenuto scritto da un umano: 5 su 5 corretto

Risultati complessivi

Dei cinque test effettuati, quattro su cinque sono stati generalmente accurati. I test sono risultati più precisi nel complesso nel caso di contenuti puramente umani rispetto ai contenuti puramente dell’IA. È interessante notare che i singoli rilevatori differivano notevolmente, quindi se intendi utilizzare un rilevatore GPT, potrebbe essere opportuno utilizzarne un gruppo su un solo pezzo di testo e aggregare i risultati. Anche con questo accorgimento, non puoi ottenere una precisione completa.

Inoltre: OpenAI ritira il proprio strumento di rilevamento dell’IA perché aveva prestazioni così scadenti

Test	Complessivo	Umano	AI	AI	AI	Umano
Rilevatore GPT-2	60%	Corretto	Non corretto	Corretto	Non corretto	Corretto
Rilevatore Content at Scale AI Content Detection	40%	Corretto	Non corretto	Non corretto	Non corretto	Corretto
GPTZero	80%	Non corretto	Corretto	Corretto	Corretto	Corretto
ZeroGPT	80%	Corretto	Non corretto	Corretto	Corretto	Corretto
Rilevatore Writefull GPT	60%	Non corretto	Non corretto	Corretto	Corretto	Corretto

Tornando a gennaio, il massimo che siamo riusciti a fare è stato il 66% di correttezza. Qui, abbiamo due strumenti che sono stati corretti l’80% delle volte. Ma non mi sentirei a mio agio nell’utilizzare questi strumenti per convalidare i contenuti degli studenti. Come è stato dimostrato, spesso i testi scritti da parlanti non nativi vengono valutati come se fossero generati da un’intelligenza artificiale, e anche i miei contenuti fatti a mano sono stati valutati come AI alcune volte. Quindi, consiglierei cautela prima di fare affidamento sui risultati di uno (o tutti) di questi strumenti.

Inoltre: Qualcuno potrebbe accusarti falsamente di usare testo generato da AI? Ecco perché potrebbe succedere

Diamo un’occhiata ai tester individuali e vediamo come si sono comportati ognuno.

Detecto del uscita GPT-2 (Precisione del 60%)

Questo primo strumento è stato creato utilizzando un hub di machine learning gestito dall’azienda di intelligenza artificiale con sede a New York, Hugging Face. Nonostante l’azienda abbia ricevuto 40 milioni di dollari di finanziamento per sviluppare la sua libreria di linguaggio naturale, il rilevatore GPT-2 sembra essere un tool creato dagli utenti che utilizza la libreria Hugging Face Transformers. Dei sei test che ho eseguito, è stato preciso per quattro di essi.

Detecto di contenuto AI di Writer.com (Precisione N/A)

Writer.com è un servizio che genera scrittura AI, orientato verso le squadre aziendali. Il suo strumento Detecto di contenuto AI può scansionare contenuti generati automaticamente. Purtroppo, ho scoperto che questo strumento non è affidabile e non è riuscito a generare risultati, esattamente come ha fatto a gennaio.

Dopo che questo articolo è stato originariamente pubblicato a gennaio, le persone di Writer.com hanno contattato ENBLE. L’amministratore delegato May Habib ha commentato:

La richiesta di detector di IA è aumentata alle stelle. Il traffico è cresciuto del 2-3 volte a settimana da quando l’abbiamo lanciato un paio di mesi fa. Ora abbiamo la scalabilità necessaria per assicurarci che non si interrompa, e il nostro obiettivo è mantenerlo gratuito e aggiornato per cogliere le ultime uscite dei modelli, inclusi i nostri. Se l’output dell’AI viene utilizzato testualmente, dovrebbe assolutamente essere attribuito.

Detecto di contenuto AI di Content at Scale (Precisione del 40%)

Il terzo strumento che ho trovato è stato prodotto anche da un’azienda di generazione di contenuti AI. Content at Scale si presenta come “Aiutiamo i marketer di contenuti focalizzati sull’ottimizzazione per i motori di ricerca automatizzando la creazione di contenuti.” La sua call to action di marketing è: “Carica un elenco di parole chiave e ottieni articoli per blog di oltre 2600 parole che superano il rilevamento di contenuto AI, il tutto senza intervento umano!” In modo preoccupante, i risultati sono peggiorati rispetto a gennaio: allora era preciso al 50%.

GPTZero (Precisione dell’80%)

Non è del tutto chiaro cosa alimenti GPTZero. L’azienda sta assumendo ingegneri e venditori, e si basa su AWS, quindi ci sono delle spese e delle vendite coinvolte. Tuttavia, tutto ciò che ho trovato su un servizio offerto era un posto dove potevi registrarti per un account gratuito per scansionare più di 5000 parole senza effettuare l’accesso. Se sei interessato a questo servizio per il rilevamento di GPT, dovrai vedere se risponderanno con ulteriori dettagli.

ZeroGPT (Precisione 80%)

ZeroGPT sembra essersi evoluto come servizio da quando abbiamo dato un’occhiata l’ultima volta. Quando abbiamo guardato la prima volta, non c’era un nome aziendale elencato e il sito era pieno di annunci Google, senza apparente strategia di monetizzazione. Il servizio funzionava abbastanza bene, ma sembrava un po’ losco.

Quella sensazione losca è ora scomparsa. ZeroGPT si presenta come qualsiasi altro servizio SaaS, completo di prezzi, nome aziendale, informazioni di contatto e tutto il resto. Funziona ancora piuttosto bene, quindi forse gli sviluppatori hanno deciso di trasformare il loro codice funzionante in un vero e proprio business funzionante. Bravi loro!

Writefull GPT Detector (Precisione 60%)

Writefull vende servizi di supporto alla scrittura e offre anche assaggi gratuiti dei suoi strumenti. Il rilevatore GPT è abbastanza nuovo e funziona abbastanza bene. Forse migliorerà nel tempo.

Pensieri finali

Inizierò lasciando che ChatGPT dica la sua: la plagio-driven dall’IA è un problema in crescita, poiché strumenti di intelligenza artificiale come Notion AI e ChatGPT possono generare testi difficili da distinguere da quelli scritti da esseri umani. Ci sono diversi modi per rilevare se un pezzo di testo è stato generato da un’intelligenza artificiale, come cercare pattern ripetitivi o insoliti, verificare la mancanza di originalità o utilizzare un controllo di plagio. I controlli di plagio come Turnitin, PlagScan e Copyleaks potrebbero essere in grado di identificare alcune caratteristiche del testo generato dal modello linguistico, ma non sono infallibili.

Anche gli strumenti specializzati che ho trovato non erano adatti al compito. C’è stata qualche miglioramento limitato rispetto ai miei test di gennaio, ma non mi sentirei certo di minacciare la posizione accademica di uno studente o di accusarlo di frode basandomi sui risultati di questi strumenti.

Inoltre: Le persone sono ora più pessimistiche sull’IA rispetto al periodo pre-boom, secondo uno studio

A questo punto, non credo che siamo pronti a far combattere l’IA contro l’IA. Invece, dovremo fare affidamento sulla percezione umana (il che significa che le persone devono prestare attenzione) per identificare opere che sono state generate da un’intelligenza artificiale.

Non bisogna assumere immediatamente che qualcosa sia generato da un computer. Solo perché qualcosa è stupido o estremamente impreciso, non assumere immediatamente che non sia stato scritto da un umano. Come tutti sappiamo, gli esseri umani sono molto capaci di scrivere delle cose terribili da soli.

Inoltre: Il ChatGPT di OpenAI è spaventosamente bravo nel mio lavoro, ma non può sostituirmi (ancora)

Quindi, cosa ne pensi? Riesci a capire se un pezzo è stato generato dall’IA? Hai utilizzato questi strumenti di scrittura basati sull’IA nei mesi dal loro improvviso arrivo? Pensate che siano d’aiuto o di intralcio all’istruzione e al giornalismo? Fatecelo sapere nei commenti qui sotto. Ecco come ChatGPT ha risposto a questo:

Come modello linguistico, non posso vedere o interagire con pezzi di scrittura fisica, quindi non posso dire se un pezzo è generato dall’IA o meno. Tuttavia, posso dirti che ci sono diversi strumenti di scrittura basati sull’IA disponibili e possono essere utilizzati per generare una vasta gamma di contenuti scritti, inclusi articoli di notizie, opere di fantasia, poesie e altro ancora.

Non ho esperienza personale nell’uso di questi strumenti poiché sono solo un programma informatico e non ho la possibilità di navigare in internet o utilizzare strumenti fisici. Tuttavia, posso dirti che alcune persone hanno trovato utili gli strumenti di scrittura basati sull’IA nell’istruzione e nel giornalismo, poiché possono risparmiare tempo ed sforzo automatizzando determinate attività. Altri hanno espresso preoccupazioni sul potenziale uso di questi strumenti per produrre contenuti fuorvianti o di parte, o per sostituire gli scrittori umani. Alla fine, se gli strumenti di scrittura basati sull’IA sono d’aiuto o di intralcio dipende da come vengono utilizzati e dal contesto in cui vengono utilizzati.

Ecco, quindi.

---

Puoi seguire gli aggiornamenti giornalieri del mio progetto sui social media. Assicurati di iscriverti alla mia newsletter settimanale di aggiornamenti su Substack, e seguimi su Twitter su @DavidGewirtz, su Facebook su Facebook.com/DavidGewirtz, su Instagram su Instagram.com/DavidGewirtz, e su YouTube su YouTube.com/DavidGewirtzTV.

---

• artificial intelligence
• Innovation