Re: Io sono ignorante ma... che c'azzecca?

On 7 Mag, 22:06, p51d <p...@tiscali.it> wrote:
> Vend ha scritto:
>
> >> - forse solo perchè manca un hardware adeguato
>
> > In che senso adeguato?
>
> che abbia la capacità di eseguire diverse miliardi di operazioni
> contemporaneamente.
>
> > Negli approcci attuali non mi pare che le capacità dell'hardware siano
> > il fattore limitante.
>
> già, per gli approcci attuali.

Si, ma il punto è che se domani esce un computer un miliardo di volte
più veloce di quelli attuali, non è che le reti neurali subito trovano
applicazione in problemi su cui fino ad oggi non hanno dato risultati
soddisfacenti.
A mio avviso il fattore limitante non è l'hardware.

> > Potrebbe anche essere che un modello ed un metodo di apprendimento che
> > vadano bene per tutti i problemi semplicemente non esistano o esistano
> > solo in teoria ma non siano praticamente utilizzabili.
>
> deve esistere, a meno chè non credi che sia l'anima a guidare il cervello.

No. Potrebbe essere che il cervello sia composto da un gran numero di
moduli ciascuno specializzato a risolvere ed adattarsi ad una
determinata classe di problemi.
Invece di un unico approccio il cervello umano potrebbe utilizzare
tanti approcci ed euristiche separate, in gran parte evolutesi nel
corso di milioni di anni, e l'apprendimento potrebbe essere soltanto
poco più che una "messa a punto" di un'architettura fondamentalmente
stabilita dalla genetica.

> Io personalmente credo molto nel modello evolutivo essendo il più
> "naturale" fra tutti.
>
> > Il cervello umano in fin dei conti è composto da decine di tipi di
> > neuroni diversi, organizzati in centinaia di aree diverse
> > specializzate ciascuna per un certo insieme di compiti.
>
> sempre neuroni sono.

Quindi? Sempre atomi sono.

> > Ciascun neurone poi potrebbe avere la capacità di elaborazione di un
> > piccolo computer (altro che somma pesata degli ingressi)...
>
> è qui il punto (vedi capacità hardware).

Non è un punto meramente tecnologico ma anche teorico: le reti neurali
artificiali attuali sono basate su neuroni semplici, in genere tutti
uguali tra loro. Le reti neurali biologiche invece sono basate su
neuroni complessi e diversificati, in un certo senso potrebbero
somigliare di più alle reti di calcolatori distribuite che alle reti
neurali artificiali.

> Un rete neurale artificiale
> come la conosciamo oggi può apprendere qualsiasi funzione: per questo
> una rete può anche simulare un singolo neurone biologico, non è detto
> che ci debba essere un rapporto 1:1 (artificiale:biologico).

Il neurone biologico non è rappresentabile da una semplice funzione, è
un sistema fisico dotato di stato.

E' ragionevole supporre che ogni sistema fisico, quindi anche una rete
neurale biologica, possa essere simulato con precisione arbitraria su
un computer, in particolare fissato il sistema fisico e la precisione
desiderata si può supporre che esista un automa a stati finiti,
eventualmente supportato da un generatore di veri numeri casuali, che
sia in grado di simularlo.

Alcuni modelli di reti neurali ricorsive, se ben ricordo, hanno la
proprietà di poter rappresentare qualunque automa a stati finiti.
Questo però non assicura che la rappresentazione di un automa a stati
finiti di interesse pratico abbia dimensioni gestibili (in caso di
dipendenze esponenziali, le dimensione potrebbero diventare talmente
grandi da essere ingestibili su qualunque hardware che possiamo mai
ragionevolmente sperare di avere), o ancora non ci assicura che tale
rappresentazione sia apprendibile.

I teoremi sulla classe di rappresentazione di un dato modello sono
utili per dirci cosa tale modello non può fare, ad esempio quando
Minsky e Papert dimostrarono che i percettroni rappresentavano solo
funzioni linearmente separabili, provarono di conseguenza quali
funzioni essi non potevano rappresentare, spiegano così molti
insuccessi degli anni precedenti.
Tali teoremi però in genere, essendo non-costruttivi, non ci dicono
nulla su cosa un dato modello potrà fare nella pratica.