Re: a che serve il test di Turing?

On 19 Lug, 19:03, pixy <pi...@NOSPAM.iol.it> wrote:
> On Fri, 18 Jul 2008 03:46:24 -0700 (PDT), Vend wrote:
> > On 18 Lug, 11:15, "Ciccio" <flent...@eloisa.it> wrote:
> >> Mi sembra che il tuo intervento non aggiunga niente alla discussione sul
> >> test di Turing.
>
> >> "Vend" <ven...@virgilio.it> ha scritto nel
messaggionews:3aeb4b0d-779b-4e19-a75e-bacaf91eb13e@w1g2000prk.googlegroups.com...
>
> >>>E poi c'era la marmotta che incartava la cioccolata...
>
> >> Non aggiunge niente.
>
> >>> > Vediamo...
>
> >>> Certamente, andiamo a vedere.
>
> >>> Utente: ho gli occhi azzurri.
> >>> Eloisa: AZZURRI? Spiegati meglio...
>
> >>> ---> Eloisa non capisce questa frase. Chiede chiarimenti, più o meno come
> >>> farebbe un essere umano.
> >>>Meno male che superava il test di Turing.
>
> >> Ti ricordo che il test di Turing è una prova in cui la macchina
> >> potrebbe/dovrebbe essere scambiata per un essere umano. Nulla si dice sulle
> >> eventuali capacità di comprensione della macchina. La risposta di Eloisa:
> >> "AZZURRI? Spiegati meglio..." potrebbe essere scambiata per quella di un
> >> essere umano.
>
> > Certo perchè un essere umano non capisce "ho gli occhi azzurri".
>
> In effetti sembra strano che un essere umano non capisca l'espressione "ho
> gli occhi azzurri". Ma supponiamo che si stia dialogando con una persona
> che non conosce bene la lingua (supponiamo, ad esempio, che stiamo
> dialogando con un inglese). In questo caso la risposta non apparirebbe più
> così strana.

Il test di Turing in genere presuppone che l'interlocutore sia fluente
nella lingua in cui si svolge il test.

Comunque:

Utente: tutti gli A sono B e tutti i B sono C.
Eloisa: Vuoi sapere cosa penso degli esseri viventi?
Utente: Tutti gli A sono C?
Eloisa: ...Scusa se ripeto, ma 'repetita juvant' dicevano i Latini...
Vuoi sapere cosa penso degli esseri viventi?
Utente: No.
Eloisa: ...Non sono in grado di rispondere, senza informazioni più
specifiche...
Utente: Tutti gli A sono C?
Eloisa: ...Beh, penso di averti risposto... Vuoi sapere cosa penso
degli esseri viventi?...

Questa situazione richiede una conoscenza minima della lingua italiana
ed un minimo di capacità logiche.
Che il programma di Ciccio non ha.

> Secondo me proprio questo circostanza mette in evidenza alcune
> delle debolezze alla base del test di Turing: il basarsi solo sul
> linguaggio e non tener conto del problema "culturale" (intendendo come
> culture l’insieme di nozioni e di procedure apprese durante il corso della
> vita). Il problema non è irrilevante perché la macchina potrebbe passare o
> meno il test a seconda del "riferimento culturale" che si utilizza per
> l'analisi. Infatti potremmo immaginare che l'interrogante possa essere un
> bambino, un vecchio, uno straniero, una persona dal QI molto basso ecc.
> Potremmo anche pensare di applicare lo stesso tipo di variazioni di
> "livello culturale" anche al partner della macchina (cioè alla persona che
> "subisce" l'interrogatorio). Io credo perciò che il computer possa passare
> o non passare il test a seconda della persona che svolge la funzione di
> interrogante. Ma questo fatto rappresenta un grosso problema per
> l’interpretazione del test poiché il test stesso, per essere probante,
> dovrebbe fornire una valutazione univoca. A meno che non si voglia pensare
> ad una valutazione statistica dei risultati del test, ma questo creerebbe
> grossi problemi di messa a punto e di validazione.

In realtà penso che l'interpretazione statistica sarebbe forse la
soluzione migliore.

Comunque hai ragione a dire che fattori culturali possono influenzare
l'esito del test, anche se in questo mio piccolo esperimento con
Eloisa non mi pare di aver chiesto nulla che richiedesse quale
conoscenza specifica ad una particolare cultura.

> >>> Utente: Di che colore sono i miei occhi?
> >>> Eloisa: Il colore dei miei occhi è il blu profondo, detto anche blu-
> >>> cobalto. A dire il vero... non sono interessata ai capelli della
> >>> gente, o ad altri dettagli fisici. Comunque i miei capelli sono rossi,
> >>> raccolti in una coda di ...
> >>>Ma come? Capisce "blu profondo, detto anche blu-cobalto" e non capisce
> >>>"azzurri"?
> >>>Non sarà che la risposta è pre-impostata? :D
>
> >> Potresti spiegare cosa intendi dire con pre-impostata,
>
> > Scritta a mano e inserita in un database di risposte.
>
> >> e come questa
> >> (eventuale) caratteristica influenzerebbe il superamento del test?
>
> > Teoricamente non lo influenza, ma per realizzare un programma basato
> > su risposte pre-impostate che superi il test di Turing occorrerebbe un
> > database con più risposte di quanti atomi ci siano nell'universo.
>
> Probabilmente hai ragione. Però a me capita a volte di conversare con
> persone particolarmente noiose e, per evitare di morire di noia, confesso
> che mi succede di staccare completamente l'attenzione da quello che mi
> viene detto. In genere in queste circostanze do delle risposte puramente
> automatiche (non so neppure io quello che dico!) Per fortuna, il più delle
> volte, se non sono gli aspetti comportamentali della conversazione
> (linguaggio non verbale) a tradirmi, l'interlocutore non si accorge
> minimamente di questo mio distacco. Forse non è necessario dunque un
> database di "tutte" le risposte complete ma solo di alcune: quelle che
> vanno bene per tutte le occasioni!

Anche se non fai attenzione a ciò che dici comunque probabilmente c'è
sempre un ragionamento inconscio dietro alle tue risposte.
Comunque per superare il test di Turing non basta sapere fare quattro
chiacchiere (cosa che i chatterbot attuali più o meno riescono a
fare), ma bisogna saper parlare di tutto quello di cui saprebbe
parlare un essere umano medio.

> >>> Utente: I miei non i tuoi.
> >>> Eloisa: Pensi che non ti voglia dire i miei anni?
>
> >>> ---> Eloisa continua a non capire
> >>>Quoto.
> >>> (è una conseguenza della mancata
> >>> comprensione della prima frase). Formula un'ipotesi, più o meno come
> >>> farebbe
> >>> un essere umano.
> >>>Un ipotesi insensata.
>
> >> Formulare ipotesi non significa azzeccare il senso giusto, ma iniziare un
> >> procedimento atto a questo scopo. Si ritiene che questa capacità sia indice
> >> d'intelligenza.
>
> > Non se l'ipotesi è formulata a caso.
>
> Qui dissento. Se uno non capisce il significato di qualche parola o frase o
> concetto, in genere cerca di rispondere formulando un'ipotesi che si basa
> ovviamente sul proprio vissuto, sulle proprie conoscenze, sulla propria
> logica (ritorna il problema culturale!). Non hai elementi per concludere
> che la risposta sia stata data “a caso”

Anche facendo finta di non sapere come funzioni Eloisa possiamo
constatare che l'ipotesi non è pertinente con il discorso, quindi il
programma fallisce dal punto di vista funzionale.

Poi da quanto credo di saperne del funzionamento del programma (anche
se Ciccio dice di aver usato tecniche innovative conosciute soltanto
da lui) sono quasi certo che l'ipotesi sia stata formulata a caso.

> >>> Utente: No.
> >>> Eloisa: Pensi che io sia qui per fare qualcosa con te?
>
> >>> ---> idem come precedente
> >>>Cerca di cambiare discorso.
>
> >> Proprio così. Eloisa cerca di cambiare discorso, come fanno persone ritenute
> >> (abbastanza) intelligenti: i politici, per sempio, e gli avvocati.
>
> > Cioè gli imbroglioni.
>
> > In questo caso ad imbrogliare è Eloisa, o meglio il suo programmatore,
> > che fa in modo che quando nel database non si trova nulla che
> > corrisponda all'input dell'utente venga data una risposta evasiva
> > (anche essa pre-impostata).
>
> Non vedo perché debba necessariamente essere un imbroglio. Non credo che ci
> siano regole sul come la macchina debba impostare le sue risposte per
> superare il test. Anche perché sarebbe paradossale che il programma non
> possa imbrogliare visto che il fine ultimo del test stesso è proprio quello
> di dimostrare che il soggetto è così bravo ad imbrogliare da farsi passare
> per quello che in realtà non è! In realtà questa strategia della risposta
> evasiva è tra l'altro mooooooooooolto usata nelle conversazioni umane,
> quasi sempre quando non si capisce un concetto e non si vuol far vedere di
> non aver capito (avevo un compagno di classe che in questo era un maestro!
> Riusciva a far credere di aver studiato dando risposte evasive quando, in
> realtà, non apriva mai un libro!). In definitiva una strategia molto umana!

Si ma infatti la mia non era una critica alle prestazioni del
programma (che è discreto nel suo genere) ma al suo programmatore che
millanta capacità che il programma non ha.

Un po' come un prestigiatore che invece di ammettere di usare trucchi
sostiene di avere poteri magici. Magari sarà pure bravo in quello che
fa, ma è pur sempre un imbroglione.

>
>
> >> Quando
> >> non hanno nulla dire, s'intende.
>
> >>> Utente: Voglio sapere il colore dei miei occhi
> >>> Eloisa: Gli occhi sono lo specchio dell'anima. Siccome i miei sono
> >>> color ambra, immagina un po' tu... I miei occhi sono blu-cobalto.
>
> >>> ---> A questo punto Eloisa dice ciò che può dire sull'argomento, allo
> >>> stato
> >>> attuale delle proprie conoscenze, più o meno come farebbe un essere umano.
> >>>Cerca di tirarsi fuori con una frase fatta.
>
> >> Anche questo è vero. La capacità di tirarsi fuori da una certa situazione,
> >> si dice sia indice d'intelligenza.
>
> > Solo se riesci a tirarti fuori.
>
> Qui non sono per niente d'accordo. Infatti l'insuccesso della particolare
> strategia utilizzata potrebbe dipendere da svariati fattori e non è
> necessariamente collegato ad (in)capacità intellettive

In questo caso mi sembra che lo sia.

> >>>"animali"  ed "anni" sono parole molto differenti sia sintatticamente
> >>>che semanticamente.
> >>>E comunque la domanda era riferita a me non ad Eloisa, come si evince
> >>>dal verbo "ho".
> >>>Eloisa non ha capito nulla apparte che la frase era una domanda
> >>>(poichè c'è il punto interrogativo) ed ha provato a proporre una
> >>>domanda a caso.
>
> >> Scusa, ma qui sembra che tu abbia un'idea molto vaga di cose come la
> >> sintassi e la semantica. E anche di una cosa semplice come la grammatica :-)
> >> Ho già detto che Eloisa (in questa conversazione) ha capito di non aver
> >> capito, e per fare questo ci vuole intelligenza.
>
> > No, basta constatare che manca il pattern nel database.
>
> Questa frase proprio non la capisco. Probabilmente mi mancano i riferimenti
> culturali giusti per comprendere.

Anche se Ciccio non lo ammetterà mai, Eloisa, come molti altri
chatterbot, funziona attraverso pattern matching.

In pratica ha un database che contiene regole che associano parole o
parti di frasi che possono comparire nell'input dell'utente a risposte
pre-impostate.
Quando l'utente scrive qualcosa il programma cerca nel database una
regola che corrisponda all'input dell'utente (cioè che faccia
riferimento a parole o parti di frasi contenute nell'input). Se la
trova sceglie una risposta (in genere a caso o secondo un meccanismo
di priorità) e la restituisce all'utente. Se non trova nulla prende
una risposta evasiva da un database apposito e la restituisce.

Con un database sufficientemente ampio si possono realizzare programmi
che riescono più o meno a chattare su argomenti comuni, ma nonappena
l'utente scrive qualcosa di non previsto il programma è costretto ad
evadere, e se l'utente insiste su qualcosa si ottengono le prestazioni
scadenti che sono state qui illustrate.

Inoltre se la conversazione va avanti per un certo tempo sullo steso
argomento il programma tende a rispondere in modo ripetitivo o (se
programmato in modo furbo) ad evadere su un altro argomento. Anche qui
se l'utente insiste a restare sullo stesso argomento la conversazione
degenera.

> >> Se proprio vuoi che Eloisa
> >> risponda correttamente alle tue domande, possiamo sottoporla ad una rapida
> >> sessione di apprendimento e riprovare.
>
> > E che c'entra?
>
> E' importante invece perché introduce due argomenti importanti: la
> possibilità di ripetere il test e la capacità di apprendere. Soprattutto
> l'apprendimento è un fattore importante. Quanti anni di "training"
> occorrono ad un bambino per imparare la grammatica e la sintassi necessari
> per sostenere una conversazione di un certo livello? E' chiaro che quante
> più conversazioni il computer sosterrà con gli esseri umani quanto più
> imparerà (ammesso che il programma sia in grado di apprendere, ovviamente!)

Non apprende. L'unico modo che ha di rispondere in modo sensato a
nuove domande è che Ciccio inserisca nel database dei nuovi pattern
con le relative risposte.

> e di conseguenza saranno più elevate le possibilità che esso superi il test
> di Turing. Ancora si ripresenta il problema culturale!
>
> >> Ma capisci che questo non è
> >> importante. E' importante che Eloisa risponda sensatamente alla maggior
> >> parte delle domande poste dalla maggior parte degli utenti, non alle tue
> >> particolari domande.
>
> > Comunque non supera il test di Turing.
>
> Questo significa che basta un solo fallimento per decretare che la macchina
> ha fallito? Mi sembra una condizione assai severa! E non vedo e non capisco
> le ragioni di condizioni così stringenti.

Puoi fare quanti test vuoi. Infatti Ciccio pubblicizza questo
programma da più di dieci anni e le prestazioni sono sempre state
quelle, anche se nel corso del tempo ha ampliato il suo database.

Di una vecchia versione scaricabile poi qualcuno ha anche fatto il
reverse engineering estraendo il database con le regole e le risposte
evasive, puoi cercare nell'archivio del newsgroup se ti va.