Re: Sieci neuronowe do problemu klasyfikacji

Dnia Tue, 8 Apr 2008 20:23:32 +0200
Sulsa <sulsa@dontmail.me> napisał(a):


> i myślałem nad zaimplementowaniem sieci radialnej, ale według algorytmu
> nauki podanego w książce rutkowskiego, w jednym cyklu nauki trzeba
O jakich cyklach mówisz?

> wykonac operacje pseudoodwracania (m * m.T)^-1 macierzy o ilości wierszy
> równej liczbe wzorców uczących(kilka-kilkadziesiąt tysięcy w moim
> przypadku) i ilości kolumn równej ilości neuronów w warstwie ukrytej.
Chodzi Ci o wzór 6.216 i 6.217? Pseudoinwersji nie liczy
się według tego wzoru. Z powodów numerycznych. Spytaj promotora
jak to DOBRZE liczyć.

Jeśli Ci chodzi o wzór 6.222 to założenie jest takie, że K jest 
małe w stosunku do M. Zatem nalezy odwrócić macierz wymiaru KxK
a nie MxM. (K - liczba neuronów w warstwie ukrytej, M - liczba
przykładów treningowych). 

> Jak widać jest to ogromna macierz i obliczenie macierzy odwrotnej do
> niej poprostu odpada. 
1) Można szukać odwrotności iteracyjnie
2) Idea sieci radialnej jest taka, żeby K było małe. To jest napisane
w książce Rutkowskiego. Ważne jest, żeby te K elementów było mądrze
dobranych.

> Moze grupowicze znaja jakies inne wmiare proste
> do zaimplemenowania/zrozumienia i dobre metody klasyfikacji, odpada knn
Knn czyli k najbliższych sąsiadów? Czemu to odpada?

> i svn.
> 
SVM jest dobre. Np. dobiera K elementów wg. pewnego ściśle
określonego kryterium.

Pozdrawiam
-- 
[ Wit Jakuczun    <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions  http://www.wlogsolutions.com ]