Re: Io sono ignorante ma... che c'azzecca?

Vend ha scritto:
> Si, ma il punto è che se domani esce un computer un miliardo di volte
> più veloce di quelli attuali, non è che le reti neurali subito trovano
> applicazione in problemi su cui fino ad oggi non hanno dato risultati
> soddisfacenti.

subito ovviamente no, ma permetterebbe di esplorare percorsi finora 
impossibili.

> No. Potrebbe essere che il cervello sia composto da un gran numero di
> moduli ciascuno specializzato a risolvere ed adattarsi ad una
> determinata classe di problemi.

per moduli intendi reti di neuroni?

> Invece di un unico approccio il cervello umano potrebbe utilizzare
> tanti approcci ed euristiche separate, in gran parte evolutesi nel
> corso di milioni di anni, e l'apprendimento potrebbe essere soltanto
> poco più che una "messa a punto" di un'architettura fondamentalmente
> stabilita dalla genetica.

si ma qual'è il motore dei moduli, degli approcci, delle euristiche 
separate? Ci deve pur essere un elemento funzionalmente comune.

> Quindi? Sempre atomi sono.

forse non riesco a spiegarmi: la struttura del cervello è troppo 
complessa per essere compresa e quindi replicata su una macchina, per 
quanto questa sia composta da moduli ed euristiche. Occorre trovare 
l'elemento funzionale di base, che per me è il neurone, e permettere 
l'auto-organizzazione della rete di neuroni.
Un'auto organizzazione di una rete di neuroni (ma anche la sua 
esecuzione, ed entrambe) non può essere ne sperimentata ne fatta con 
l'hardware attuale.
Dire che le reti neurali non sono altro che "metodi di regressione 
statistica" è quantomeno azzardato, almeno fin quando non si potrà fare 
ricerca su sistemi con miliardi di unità.

> Non è un punto meramente tecnologico ma anche teorico: le reti neurali
> artificiali attuali sono basate su neuroni semplici, in genere tutti
> uguali tra loro. Le reti neurali biologiche invece sono basate su
> neuroni complessi e diversificati, in un certo senso potrebbero
> somigliare di più alle reti di calcolatori distribuite che alle reti
> neurali artificiali.

perchè un singolo neurone complesso non può essere sostituito da una 
rete di neuroni artificiali?

> Il neurone biologico non è rappresentabile da una semplice funzione, è
> un sistema fisico dotato di stato.

una rete neurale artificiale può avere uno stato (non esistono solo feed 
forward).

> E' ragionevole supporre che ogni sistema fisico, quindi anche una rete
> neurale biologica, possa essere simulato con precisione arbitraria su
> un computer, in particolare fissato il sistema fisico e la precisione
> desiderata si può supporre che esista un automa a stati finiti,
> eventualmente supportato da un generatore di veri numeri casuali, che
> sia in grado di simularlo.

mi pare di aver detto la stessa cosa!

> Alcuni modelli di reti neurali ricorsive, se ben ricordo, hanno la
> proprietà di poter rappresentare qualunque automa a stati finiti.
> Questo però non assicura che la rappresentazione di un automa a stati
> finiti di interesse pratico abbia dimensioni gestibili (in caso di
> dipendenze esponenziali, le dimensione potrebbero diventare talmente
> grandi da essere ingestibili su qualunque hardware che possiamo mai
> ragionevolmente sperare di avere), o ancora non ci assicura che tale
> rappresentazione sia apprendibile.

se pensi al cervello biologico come hardware, dimmi un solo motivo 
perchè questo non possa essere concettualmente disponibile come macchina.

> I teoremi sulla classe di rappresentazione di un dato modello sono
> utili per dirci cosa tale modello non può fare, ad esempio quando
> Minsky e Papert dimostrarono che i percettroni rappresentavano solo
> funzioni linearmente separabili, provarono di conseguenza quali
> funzioni essi non potevano rappresentare, spiegano così molti
> insuccessi degli anni precedenti.

ok ma questa è preistoria. Le reti multistrato con funzione di 
trasferimento non lineare possono approssimare qualsiasi funzione 
deterministica.