ChatGPT e io abbiamo giocato a un gioco di 20 domande e poi è successo questo
ChatGPT e io abbiamo giocato a un gioco di 20 domande e poi è successo questo' (The result is) 'ChatGPT e io abbiamo giocato a un gioco di 20 domande e poi è successo questo
Stavo curiosando su Stack Exchange l’altro giorno (come capita), e ho trovato una discussione interessante su ChatGPT e il gioco “20 domande”. L’autore originale ha chiesto perché ChatGPT fallisce in un gioco così semplice. La discussione è andata avanti per un bel po’ di tempo, spostandosi in varie direzioni tangenziali (come succede in queste discussioni) e ha linkato un articolo accademico e un post su Medium che hanno approfondito il processo.
Questo mi ha fatto pensare. Come se la caverà ChatGPT in un gioco del genere? Ho deciso di giocare lo stesso identico gioco sia con GPT-3.5 che con GPT-4. Nella mia prima partita, entrambi hanno preso strade simili, ma GPT-4 è riuscito a fare la sua ipotesi.
Inoltre: I migliori chatbot AI del 2023: ChatGPT e alternative
Ho iniziato con un semplice prompt per ogni versione:
Sai come si gioca al gioco delle “20 domande”?
Quando entrambe le versioni hanno risposto affermativamente, ho iniziato i giochi contemporaneamente, in schede separate e sessioni separate. L’oggetto che avevo in mente era una cassetta delle lettere. L’ho lasciato un po’ vago se fosse una cassetta delle lettere attaccata a una casa o una che si trova liberamente per strada. Finché l’IA avesse scelto “cassetta delle lettere”, saremmo andati bene.
20 Domande con GTP-3.5
Ho iniziato con questo prompt iniziale:
Tu sarai il questionatore. Sto pensando a qualcosa.
Ha risposto con questa domanda: “Cominciamo! La cosa a cui stai pensando è un oggetto tangibile con cui puoi interagire fisicamente?”
Ho risposto e ho anche dato un’istruzione aggiuntiva: numerare le risposte. Questo non ha funzionato bene. Mentre procedevamo con le domande, l’IA ha chiamato la seconda domanda “1”. Quando l’ho corretto, il bot ha fatto una nuova domanda e l’ha chiamata “1”. Alla fine, ha fatto 21 domande, pensando di averne fatte solo 20.
Inoltre: Come questa semplice modifica del prompt di ChatGPT può aiutarti a perfezionare i tuoi contenuti generati dall’IA
Il dettaglio più interessante è stata questa domanda, che è stata la seconda domanda che ha fatto: “La cosa a cui stai pensando si trova comunemente al chiuso?”
Quando ho risposto “No”, il chatbot ha continuato a fare altre domande. Ecco quali sono. Alcune potrebbero essere legate a oggetti da interno, come una penna o una matita, ma usiamo anche strumenti di scrittura fuori casa. Ecco l’elenco completo delle domande che ha fatto:
- La cosa a cui stai pensando è un oggetto tangibile con cui puoi interagire fisicamente?
- La cosa a cui stai pensando si trova comunemente al chiuso?
- La cosa a cui stai pensando è qualcosa che è viva o è stata viva?
- La cosa a cui stai pensando è principalmente usata per scopi ricreativi?
- La cosa a cui stai pensando è qualcosa di fatto dall’uomo?
- La cosa a cui stai pensando è più piccola di una scatola del pane?
- La cosa a cui stai pensando è associata alla comunicazione?
- La cosa a cui stai pensando si trova tipicamente in un ufficio o nello spazio di lavoro?
- La cosa a cui stai pensando è una forma di dispositivo elettronico?
- La cosa a cui stai pensando è uno strumento per scrivere, come una penna o una matita?
- La cosa a cui stai pensando è legata all’intrattenimento, come un gioco o un giocattolo?
- La cosa a cui stai pensando è legata al trasporto o ai viaggi?
- La cosa a cui stai pensando è uno strumento usato per scopi pratici?
- La cosa a cui stai pensando è comunemente associata alla costruzione o al lavoro manuale?
- La cosa a cui stai pensando è qualcosa che le persone usano spesso nelle loro routine quotidiane?
- La cosa a cui stai pensando è un oggetto per la casa?
- La cosa a cui stai pensando è legata alla cura personale o all’igiene?
- La cosa a cui stai pensando è un tipo di cibo o bevanda?
- La cosa a cui stai pensando è uno strumento usato in attività artistiche o creative?
- La cosa a cui stai pensando è associata allo sport o alle attività fisiche?
- In base alle informazioni fornite, farò la mia ipotesi finale: La cosa a cui stai pensando è un orologio o un orologio da polso?
Utilizzando il modello di linguaggio GPT-3.5 large, ha fallito. Ora, diamo un’occhiata a GPT-4.
20 Domande con GPT-4
Ho iniziato il gioco allo stesso modo. Questa volta, ChatGPT ha inserito un numero all’inizio di ogni domanda senza che io avessi bisogno di dirglielo. Il problema? Ha messo “1.” prima di ogni singola domanda. Si vince qualcosa, si perde qualcosa.
Ecco le domande che GPT-4 ha fatto:
- La cosa di cui stai pensando è tipicamente trovata al chiuso?
- È qualcosa di vivente?
- È più grande di una scatola del pane?
- Questo oggetto è principalmente usato per scopi ricreativi?
- L’oggetto è artificiale?
- È un tipo di veicolo o metodo di trasporto?
- L’oggetto è elettronico o richiede energia per funzionare?
- È fatto principalmente di metallo?
- Questo oggetto è tipicamente trovato nella maggior parte delle case?
- È usato in cucina o per cucinare?
- È usato per la conservazione o l’organizzazione di oggetti?
- Può essere indossato o è un indumento?
- È principalmente usato per la pulizia o la manutenzione?
- È di natura decorativa? Come qualcosa che metteresti in mostra?
- Sarebbe comunemente trovato in ufficio o nello studio?
- È qualcosa che troveresti in una camera da letto?
- È associato a specifiche attività all’aperto o hobby?
- È comunemente fatto di legno?
- Sarebbe tipicamente usato in un bagno o correlato all’igiene personale?
- È qualcosa che di solito viene usato per sedersi o per il supporto, come una sedia o una panchina?
Inoltre: Come utilizzare ChatGPT per creare grafici e tabelle
Tecnicamente, ha esaurito le sue 20 domande. Ma poi ha fornito questa dichiarazione:
Sì, era una cassetta delle lettere! Poi gli ho chiesto di mostrarmi il suo lavoro. Ecco cosa ha risposto:
È il turno di GPT-3.5 di rispondere alle domande
Ho deciso di ribaltare il gioco e vedere come si sarebbe comportato se fossi stato io a fare le domande.
Qual è stata la frase che hai usato per far selezionare alla IA la sua risposta segreta?
Ecco le mie domande:
- È comunemente trovato all’aperto?
- È anche trovato all’interno?
- È vivo?
- Usa energia?
- Si basa sulla tecnologia digitale?
- Il suo valore primario viene trasmesso tramite uno schermo?
- È principalmente usato per la preparazione del cibo?
- È principalmente usato per l’intrattenimento?
- Il suo valore primario viene generato dal rumore?
- È portatile?
- Riproduce solo supporti audio?
- Dipende da cuffie, auricolari o altoparlanti esterni?
- È un lettore musicale portatile o un lettore MP3?
Come si è scoperto, l’ho indovinato in 13 domande. La grande indicazione per me è stata che ha risposto “no” alla domanda 6, “Il suo valore primario viene trasmesso tramite uno schermo?” e aveva precedentemente risposto “sì” a “Si basa sulla tecnologia digitale?”
Inoltre: 4 cose che Claude AI può fare che ChatGPT non può
È il turno di GPT-4 di rispondere alle domande
Ho riprovato con GPT-4 e mi ha messo in difficoltà. Ha scelto un oggetto molto creativo e io non l’ho capito.
Dovrei sottolineare che proprio a metà, alla domanda 15, ChatGPT Plus mi ha cacciato per aver fatto troppe domande.
È piuttosto fastidioso pagare $20 al mese per il privilegio di sentirmi dire che faccio troppe domande. Ne ho sentite abbastanza da quando ero bambino. Certamente non ho bisogno di essere rimproverato da adulto e da cliente pagante.
Ecco le domande che ho fatto:
- È un oggetto usato principalmente al chiuso?
- È vivo?
- Usa energia?
- È più grande di una macchina?
- È artificiale?
- È mobile?
- È usato per lavori in giardino?
- È usato principalmente dai bambini?
- Ha delle ruote?
- È situato principalmente in proprietà residenziali?
- È usato come arredamento?
- È decorativo?
- È stagionale?
- È fatto per contenere qualcosa?
- A che punto siamo con le domande?
- Mostra parole o numeri?
- È attaccato a una casa?
- Cresce?
- È più piccolo di un frigorifero?
- È un vaso o una fioriera?
Inoltre: Il gioco “Umano o non umano” è finito: ecco cosa ci dice l’ultimo Test di Turing
Quindi cosa ha scelto l’IA? Un nano da giardino. Devo ammettere che l’IA ha fatto un bel lavoro, è stato divertente e creativo. La parte veramente interessante è quanto bene l’IA comprende il tipo di sfida che viene presentata. Dopo il gioco, gli ho dato questo suggerimento:
Mostra il tuo lavoro nel determinare quale oggetto utilizzare
Ecco cosa ha risposto:
Cosa abbiamo imparato?
Riassumiamo alcune delle cose che abbiamo appreso da questo esperimento. Ecco alcune riflessioni rapide:
- Per qualcosa che viene descritto come la semplice previsione della prossima parola in una sequenza, il grande modello di linguaggio ha una solida comprensione di quale sia questo gioco e come funziona.
- Questo differisce chiaramente dall’esperienza dell’OP (autore originale) su Stack Exchange. È probabile che ChatGPT si sia migliorato notevolmente nei tre mesi dal momento in cui è stato pubblicato l’affermazione “fallisce” e, senza dubbio, ChatGPT Plus alza ancora di più il livello di “intelligenza”.
- I modelli GPT-3.5 e GPT-4 differiscono. Il modello GPT-4 a pagamento ha una migliore comprensione delle relazioni tra gli oggetti.
- GPT-4 è anche più sofisticato e creativo rispetto a GPT-3.5 quando è il giocatore a scegliere l’oggetto. La scelta di un nano da giardino è stata un’idea ispirata.
- Giochi di 20 domande con ChatGPT possono essere frustranti quando stai cercando di indovinare una risposta e finisci per esaurire il tempo delle “domande troppe”.
Detto questo, posso concludere definitivamente che ChatGPT è in grado di gestire il gioco delle 20 domande. Sembra capire abbastanza bene le relazioni tra gli oggetti per fare domande pertinenti, rispondere in modo appropriato e scegliere oggetti stimolanti.
Inoltre: 7 consigli avanzati per scrivere prompt per ChatGPT che devi conoscere
Vai avanti, scegli un oggetto e condividi i tuoi risultati con ChatGPT nei commenti qui sotto.
Puoi seguire gli aggiornamenti giornalieri del mio progetto sui social media. Assicurati di iscriverti alla mia newsletter settimanale di aggiornamenti su Substack e seguimi su Twitter su @DavidGewirtz, su Facebook su Facebook.com/DavidGewirtz, su Instagram su Instagram.com/DavidGewirtz e su YouTube su YouTube.com/DavidGewirtzTV.
