From: "Siriuz" <siriuz toniesiriuz.net>
Subject: a. genetyczne, zmiennoprzecinkowe
Od razu powiem ze jestem glupi, zebysmy nie stracili czasu w trakcie,
ktorego Pan A.L mi to udowodni :>
Szukalem troche informacji o bezposrednim krzyzowaniu liczb calkowitych lub
zmiennoprzecinkowych. W klasycznym podejsciu koduje sie takie wartosci do
ciagu binarnego i wtedy nie ma problemu. Natomiast slyszalem o metodach
bardziej bezposrednich, dokladnie to wyczytalem to w ksiazce "Metody i
techniki sztucznej inteligencji" Rutkowskiego. Niestety bez zadnych
szczegolow. Udalo mi sie wygooglac jedna prosta regulke, w ktorej z pary
rodzicow generujemy troje potomkow: [r1*0,5+r2*05],
[r1*1,5-r2*0,5],[r2*1,5-r1*0,5] i odrzucamy najslabszego. Wiecej nie
znalazlem. Prosze Was o podanie mi jakis kluczy wedlug ktorych powinienem
szukac, lub skrotowe przedstawienie roznych podejsc do tego zagadnienia.
Rowniez interesuja mnie wady i zalety takich rozwiazan w stosunku do
klasycznych metod binarnych. Pytam o to wszystko, bo pragne stworzyc sobie
biblioteki do obliczen genetycznych i nie chce sie babrac w binarne
kodowanie jesli sa sposoby by tego uniknac.
Pozdrawiam
Siriuz
From: =?iso-8859-2?Q?Jakub_Wr=F3blewski?= <jakubw_bez_tego mimuw.edu.pl>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
Witam,
Użytkownik "Siriuz" <siriuz toniesiriuz.net> napisał w wiadomo¶ci
news:468419f2$0$2596$f69f905 mamut2.aster.pl...
>
> Szukalem troche informacji o bezposrednim krzyzowaniu liczb calkowitych
> lub zmiennoprzecinkowych. W klasycznym podejsciu koduje sie takie wartosci
> do ciagu binarnego i wtedy nie ma problemu. Natomiast slyszalem o metodach
> bardziej bezposrednich, dokladnie to wyczytalem to w ksiazce "Metody i
> techniki sztucznej inteligencji" Rutkowskiego. Niestety bez zadnych
> szczegolow.
Slowa kluczowe: strategie ewolucyjne.
Opisane np. w ksiazce Michalewicza "Algorytmy genetyczne + struktury danych
= programy ewolucyjne".
Pozdrawiam,
Jakub Wroblewski
From: =?ISO-8859-2?Q?Tomasz_Grabi=F1ski?=
Subject: Re: a. genetyczne, zmiennoprzecinkowe
Jakub Wróblewski pisze:
> Witam,
>
> Użytkownik "Siriuz" <siriuz toniesiriuz.net> napisał w wiadomo¶ci
> news:468419f2$0$2596$f69f905 mamut2.aster.pl...
>>
>> Szukalem troche informacji o bezposrednim krzyzowaniu liczb
>> calkowitych lub zmiennoprzecinkowych. W klasycznym podejsciu koduje
>> sie takie wartosci do ciagu binarnego i wtedy nie ma problemu.
>> Natomiast slyszalem o metodach bardziej bezposrednich, dokladnie to
>> wyczytalem to w ksiazce "Metody i techniki sztucznej inteligencji"
>> Rutkowskiego. Niestety bez zadnych szczegolow.
>
> Slowa kluczowe: strategie ewolucyjne.
> Opisane np. w ksiazce Michalewicza "Algorytmy genetyczne + struktury
> danych = programy ewolucyjne".
>
> Pozdrawiam,
> Jakub Wroblewski
Hejka
Strategie ewolucyjne w standardzie maja tylko mutacje - ale jak
poszukasz mocniej to potem s± tez sposoby krzyżowania
From: "Siriuz" <siriuz toniesiriuz.net>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
"Tomasz Grabiński" <tomasz.grabinskiWYTNIJ plansolutions.de> wrote in
message >> Slowa kluczowe: strategie ewolucyjne.
>> Opisane np. w ksiazce Michalewicza "Algorytmy genetyczne + struktury
>> danych = programy ewolucyjne".
>>
>> Pozdrawiam,
>> Jakub Wroblewski
>
> Hejka
> Strategie ewolucyjne w standardzie maja tylko mutacje - ale jak poszukasz
> mocniej to potem s± tez sposoby krzyżowania
Troche wiecej informacji znalazlem, ale nadal dosc ogolnikowe stwierdzenia
typu:
- mutacje przewaznie realizuje sie przez dodanie wartosci z rozkladu
normalnego do danego genu
- krzyzowanie polega na usrednianiu genow
w przypadku tego drugiego to juz w ogole lipa bo jesli np optimum lezy w
1.0, a mamy dwa geny 0.6 i 0.8 to usrednianie nigdzie nas nie zaprowadzi.
Niezlym rozwiazaniem jest to ktore podalem na poczatku, bo generuje potomkow
0.5, 0.7 i 0.9, po odrzuceniu najslabszego 0.5 zostajemy z dwoma lepiej
dostosowanymi. Dlatego szukam wiec innych tego typu rozwiazan.
Dodam tez ze podstawowym zagadnieniem do ktorego chce uzyc tych metod jest
optymalizacja wag sieci neuronowej. Wyczytalem ze wlasnie kodowanie na
liczbach rzeczywistych jest tu najodpowiedniejsze, bo kazdy gen moze byc
pojedyncza waga sieci, ale moze sa inne tez sposoby?
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
Dnia Fri, 29 Jun 2007 11:10:39 +0200
"Siriuz" <siriuz toniesiriuz.net> napisa=B3(a):
> Troche wiecej informacji znalazlem, ale nadal dosc ogolnikowe stwierdzeni=
a=20
> typu:
> - mutacje przewaznie realizuje sie przez dodanie wartosci z rozkladu=20
> normalnego do danego genu
> - krzyzowanie polega na usrednianiu genow
Te stwierdzenia s=B1 jak najbardziej konkretne.
>=20
> w przypadku tego drugiego to juz w ogole lipa bo jesli np optimum lezy w=
=20
> 1.0, a mamy dwa geny 0.6 i 0.8 to usrednianie nigdzie nas nie zaprowadzi.=
=20
No i co z tego? Jak b=EAdziesz mia=B3 0.9 i 1.1 to ju=BF zaprowadzi tam gdz=
ie trzeba.
Po to jest mutacja, =BFeby przeskakiwa=E6 na r=F3=BFne obszary.
> Dodam tez ze podstawowym zagadnieniem do ktorego chce uzyc tych metod jes=
t=20
> optymalizacja wag sieci neuronowej.=20
Jakiej sieci? I czemu akurat chcesz genetycznymi optymalizowa=E6 te wagi?
> Wyczytalem ze wlasnie kodowanie na liczbach rzeczywistych jest tu=20
> najodpowiedniejsze, bo kazdy gen moze byc pojedyncza waga sieci, ale moze=
=20
> sa inne tez sposoby?=20
>=20
Nie u=BFywa=E6 AG do tego problemu?
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
From: A.L. <fela 2005.com>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
On Fri, 29 Jun 2007 11:24:07 +0200, Wit Jakuczun <wit mefisto.hades>
wrote:
>> Wyczytalem ze wlasnie kodowanie na liczbach rzeczywistych jest tu
>> najodpowiedniejsze, bo kazdy gen moze byc pojedyncza waga sieci, ale moze
>> sa inne tez sposoby?
>>
>Nie używać AG do tego problemu?
Slusznie, bo AG sie do tego akurat slabo nadaje.
A jak idzie o budowanie biblioteki, to ja bym zaczal od studiow
bibliotek juz istniejacych, zobaczenia co one robia i jak robia oraz
zdecudowania czego nie robia i dlaczego i ewentualnie wypelnienie
pustych miejsc.
Wymyslanie zarowki jest przyjemne, ale jalowe.
Proponuje zaczac od tego:
http://www.cs.gmu.edu/~eclab/
pojsc tu
http://www.cs.gmu.edu/~eclab/tools.html
a potem tu
http://www.cs.gmu.edu/~eclab/projects/ec_courseware/
Potem zajrzed na niezawond sourceforge
http://gaul.sourceforge.net/
GAUL is an open source programming library, released under the GNU
General Public License. It is designed to assist in the development
of code that requires evolutionary algorithms
JGAP (pronounced "jay-gap") is a Genetic Algorithms and Genetic
Programming component provided as a Java framework. It provides basic
genetic mechanisms that can be easily used to apply evolutionary
principles to problem solutions. See the examples for a demonstration
or watch out the graphical tree that can be created with JGAP for
found solutions of genetically evolved programs.
The Distributed Genetic Programming Framework is a scalable Java
genetic programming environment. It comes with an optional
specialization for evolving assembler-syntax algorithms. The evolution
can be performed in parallel in any computer network
.... i jeszcze chyba z 10 innych.
Powodzenia zycze.
A.L.
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
Dnia Fri, 29 Jun 2007 00:03:44 +0200
Jakub Wr=F3blewski <jakubw_bez_tego mimuw.edu.pl> napisa=B3(a):
> Slowa kluczowe: strategie ewolucyjne.
> Opisane np. w ksiazce Michalewicza "Algorytmy genetyczne + struktury dany=
ch=20
> =3D programy ewolucyjne".
>=20
Jest te=BF ksi=B1=BFka Arabasa "Wyk=B3ady z ..." (nie pami=EAtam ca=B3ego t=
ytu=B3u).
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
[ Short offer: data mining, operational research,=20
time series forecasting, consulting ]
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
Dnia Fri, 29 Jun 2007 07:01:01 -0500
A.L. <fela 2005.com> napisa=B3(a):
> >Nie u=BFywa=E6 AG do tego problemu?
>=20
> Slusznie, bo AG sie do tego akurat slabo nadaje.
>=20
Tylko czy OP o tym wie? Jak wie to niech napisze, dlaczego chce
u=BFywa=E6 AG do wyznaczania wag w sieci neuronowej? Mo=BFe kto=B6 inny wie?
Ch=EAtnie bym si=EA dowiedzia=B3 o co tu chodzi.
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
From: A.L. <fela 2005.com>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
On Fri, 29 Jun 2007 14:46:24 +0200, Wit Jakuczun <wit mefisto.hades>
wrote:
>Dnia Fri, 29 Jun 2007 07:01:01 -0500
>A.L. <fela 2005.com> napisał(a):
>
>
>> >Nie używać AG do tego problemu?
>>
>> Slusznie, bo AG sie do tego akurat slabo nadaje.
>>
>Tylko czy OP o tym wie? Jak wie to niech napisze, dlaczego chce
>używać AG do wyznaczania wag w sieci neuronowej? Może kto¶ inny wie?
>Chętnie bym się dowiedział o co tu chodzi.
>
Mysle ze dlatego ze chce. Jak powszechnaie wiadomo, AG dobrze sie
stosuje do problemow kombinatorycznych o malej wymiarowosci, ale o
skomplikowanej geopmetrii funkcji celu, specjalnie ilosci ekstremow
lokalnych. Do klasycznych problemow ciaglych nadaje sie slabo, bo
wymagaja znacznei wiekszej ilosci obliczen funkcji niz algorytmy
klasyczne, bazujace na bardziej skomplikwoanej teorii niz "lapu-capu".
A wlasnei NN to taka "kalsyczna" optymalizacja.
A.L.
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
Dnia Fri, 29 Jun 2007 08:11:25 -0500
A.L. <fela 2005.com> napisa=B3(a):
> A wlasnei NN to taka "kalsyczna" optymalizacja.
>=20
A nie jest tak, =BFe chce znale=BC=E6 optimum globalne? Je=B6li tak to=20
mam obaw=EA, =BFe taka sie=E6 nie musi by=E6 najlepsza. Chodzi mi o to,=20
=BFe optymalne rozwi=B1zanie (chyba, =BFe si=EA wie co si=EA optymalizuje :=
) )
nie musi by=E6 najlepszym.=20
Dobrym przyk=B3adem s=B1 tu badania nad algorytmem Arcing, kt=F3re
prowadzi=B3 Leo Breiman. W artykule "Arcing the Edge" Breiman opisuje
algorytm, kt=F3ry optymalizuje pewn=B1 funkcj=EA. W innym artykule
"Boosting the marging" Shapire at al. funkcja ta by=B3a=20
wskazywana jako =BCr=F3d=B3o sukcesu metody boosting. Eksperymetny=20
Breimana pokaza=B3y, =BFe ta hipoteza by=B3a b=B3=EAdna, gdy=BF klasyfikato=
ry
uzyskane przez niego dawa=B3y gorsze wyniki ni=BF algortym boosting,=20
mimo, =BFe warto=B6=E6 optymalizowanej funkcji by=B3a lepsza.
W innym artykule (nie pami=EAtam tytu=B3u) zmodyfikowa=B3 sw=F3j
pierwotny "perfekcyjny" algorytm tak, =BFeby nie znajdowa=B3 globalnego
minimum. Wyniki dzi=EAki temu poprawi=B3.
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
Dnia Fri, 29 Jun 2007 15:42:58 +0200
Wit Jakuczun <wit mefisto.hades> napisa=B3(a):
> Dobrym przyk=B3adem s=B1 tu badania nad algorytmem Arcing, kt=F3re
> prowadzi=B3 Leo Breiman. W artykule "Arcing the Edge" Breiman opisuje
> algorytm, kt=F3ry optymalizuje pewn=B1 funkcj=EA.=20
Uzupe=B3nienie: ta funkcja to margines/kraw=EAd=BC (edge).
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
From: A.L. <fela 2005.com>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
On Fri, 29 Jun 2007 15:42:58 +0200, Wit Jakuczun <wit mefisto.hades>
wrote:
>Dnia Fri, 29 Jun 2007 08:11:25 -0500
>A.L. <fela 2005.com> napisał(a):
>
>> A wlasnei NN to taka "kalsyczna" optymalizacja.
>>
>A nie jest tak, że chce znaleĽć optimum globalne? Je¶li tak to
>mam obawę, że taka sieć nie musi być najlepsza. Chodzi mi o to,
>że optymalne rozwi±zanie (chyba, że się wie co się optymalizuje :) )
>nie musi być najlepszym.
To znaczy ze optymalizuje nie to co trzeba. "Optymalne rozwiazanie nie
najlepsze" to klasyczny oxymoron. Jak "sucha woda" czy "zimny ogien".
A.L.
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
Dnia Fri, 29 Jun 2007 09:02:37 -0500
A.L. <fela 2005.com> napisa=B3(a):
> To znaczy ze optymalizuje nie to co trzeba.=20
Dok=B3adnie to chcia=B3em powiedzie=E6 i to chcia=B3, moim zdaniem,=20
pokaza=E6 Breiman.
> "Optymalne rozwiazanie nie najlepsze" to klasyczny oxymoron. Jak "sucha w=
oda" czy "zimny ogien".
>=20
Tak. To prawda, jednak nie zawsze np. minimalizacja b=B3=EAdu treningowego
musi prowadzi=E6 do najlepszego klasyfikatora. Wtedy mo=BFna mie=E6 klasyfi=
kator
o minimalnym b=B3=EAdzie treningowym, ale nie najlepszy je=B6li chodzi o
klasyfikacj=EA nowych przyk=B3ad=F3w.=20
Pozdrawiam
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
From: A.L. <fela 2005.com>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
On Fri, 29 Jun 2007 16:05:22 +0200, Wit Jakuczun <wit mefisto.hades>
wrote:
>Dnia Fri, 29 Jun 2007 09:02:37 -0500
>A.L. <fela 2005.com> napisał(a):
>
>
>> To znaczy ze optymalizuje nie to co trzeba.
>Dokładnie to chciałem powiedzieć i to chciał, moim zdaniem,
>pokazać Breiman.
>
>> "Optymalne rozwiazanie nie najlepsze" to klasyczny oxymoron. Jak "sucha woda" czy "zimny ogien".
>>
>Tak. To prawda, jednak nie zawsze np. minimalizacja błędu treningowego
>musi prowadzić do najlepszego klasyfikatora. Wtedy można mieć klasyfikator
>o minimalnym błędzie treningowym, ale nie najlepszy je¶li chodzi o
>klasyfikację nowych przykładów.
To znaczy ze blad treningowy nie jest najlepsza miara jakosci. W
modelach predykcyjnych nie inteersuje mnie jak model przybliza serie
("fit") ale jaka ma jakosc prognozy. Wydaje sie ze dostatecznei duzo
wiaodmo w teorii prognozowania jak trenowac modele prognostyczne. Ale
moze ta wiedza nie pzreniknela do NN.
A.L.
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
Dnia Fri, 29 Jun 2007 09:42:17 -0500
A.L. <fela 2005.com> napisa=B3(a):
> To znaczy ze blad treningowy nie jest najlepsza miara jakosci.
Nie jest.
> W modelach predykcyjnych nie inteersuje mnie jak model przybliza serie
> ("fit") ale jaka ma jakosc prognozy. Wydaje sie ze dostatecznei duzo
> wiaodmo w teorii prognozowania jak trenowac modele prognostyczne. Ale
> moze ta wiedza nie pzreniknela do NN.
>=20
Przenikn=EA=B3a: http://citeseer.ist.psu.edu/bartlett97sample.html=20
Zdrowia
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
From: "Siriuz" <siriuz toniesiriuz.net>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
"A.L." <fela 2005.com> wrote in message
news:7cs983dumnm181e9mh8f8gi4beu80qqs7v 4ax.com...
> Slusznie, bo AG sie do tego akurat slabo nadaje.
Jak na wstepie powiedzialem mam mala wiedze w tych dziedzinach. W zasadzie
dopiero sie zaczynam uczyc. Zrobilem sobie siec uczona przez wsteczna
propagacje bledu, bo to bylo banalne. Jednakze, wiem iz ta metoda nie jest
doskonala, potrafi ugrzeznac w minimum lokalnym i koniec. Duzo tez zalezy od
parametru "learning rate". Niewielkim nakladem pracy moge udoskonalic te
metode o dodanie momentu... na pewno znalazl bym jakas zaawansowana metode
uczenia sieci jednokierunkowych wielowarstwowych, ale nie chce sie za szybko
zniechecic iloscia pracy w stosunku do uzyskanych efektow. Algorytmy
genetyczne pozwalaja chyba na pewien kompromis. Nie wpadaja w minima
lokalne, przeszukuja cala przestrzen rozwiazan, znajduja minimum bardzo
dokladnie (w paru miejscach wyczytalem ze duzo dokladniej od metody
wstecznej propagacji) no i sa przedewszystkim proste w implementacji. Wada
jest wydluzony czas uczenia. Poza tym moglbym sobie dzieki nim szukac
rowniez optymalnej architektury sieci, ilosc warstw, neuronow i wiele innych
parametrow. Algorytmy genetyczne daja mi duza swobode.
> A jak idzie o budowanie biblioteki, to ja bym zaczal od studiow
> bibliotek juz istniejacych, zobaczenia co one robia i jak robia oraz
> zdecudowania czego nie robia i dlaczego i ewentualnie wypelnienie
> pustych miejsc.
>
> Wymyslanie zarowki jest przyjemne, ale jalowe.
>
> Proponuje zaczac od tego:
>
> http://www.cs.gmu.edu/~eclab/
[ciach]
Dzieki, ten link jest ciekawy. Na pewno zajrze do kodu zrodlowego. Natomiast
z pewnoscia rozumiesz, ze o wiele latwiej jest zrozumiec algorytm kiedy jest
on ladnie wylozony za pomoca slow i wzorow, niz rozgryzac go na podstawie
czyjegos kodu. BP zrozumialem dobrze dopiero po zobaczeniu tego:
http://home.agh.edu.pl/~vlsi/AI/backp_t/backprop.html Juz latwiej sie chyba
nie da tego przedstawic :) Swoja droga skoro juz przy tym jestesmy, to
zauwazylem ze w wielu implementacjach tego algorytmu przy obliczaniu nowych
wag nie uwzglednia sie pochodnej funkcji aktywacji. Jakie to ma znaczenie?
Aha, jeszcze jedna sprawa. Sa jakies reguly co do dobierania poczatkowych
wag? Ja losuje je z przedzialu od -1 do 1, i np przy testowym rozwiazywaniu
problemu XOR dla sieci dwuwarstwowej o 3 neuronach (2-1), dosc czesto zdarza
sie ze w cyklu uczenia BP siec grzeznie przy takich wagach, ze zwraca zawsze
wartosci w okolicach 0,5 zamiast 0, czy 1 (przyjalem sobie 0.1 i 0.9),
niezaleznie od ilosci cykli nauczania.
Ahh... no i przypomnialem sobie jeszcze jedno :) Uzywajac funkcji aktywacji
postaci P(t) = 1/(1+e^(-at)), wsp a decyduje o "stromosci" tej funkcji, lub
tez inaczej - zalezy od niego szerokosc przedzialu argumentow dla ktorych
wartosci funkcji sa w przedziale od 0,1 do 0,9. Natomiast przedzial wartosci
argumentow (przy wagach wylosowanych w przedziale od -1 do 1) zalezy od
ilosci wejsc danego neuronu. Wobec tego wydaje mi sie bledem jedno z dwoch -
przyjmowanie tego wspolczynnika 'a' o stalej wartosci dla wszystkich
neuronow, albo stalego przedzialu losowanych wag, poniewaz neurony o
wiekszej liczbie wejsc beda mialy tendencje do czestszego generowania
jedynek. Jak to powinno wygladac? Jakos rzadko o tym wspominaja, zreszta
podobnie jak z biasami. Sam musialem dosc do tego ze albo sieci nie mozna
podawac na wejscie zer (bo oczywiscie iloczyny w sumie sie wyzeruja), albo
trzeba przynajmniej w pierwszej warstwie dodac bias do neuronow. Chodz jak
wyczytalem w innym miejscu to nie jest powod dla ktorego wprowadzono bias do
neuronow.
I tyle. Duzo pytan i watpliwosci, ale jak powiedzialem chce sie nauczyc i
dowiedziec jak najwiecej.
Pozdrawiam
Siriuz
From: A.L. <fela 2005.com>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
On Fri, 29 Jun 2007 22:39:17 +0200, "Siriuz" <siriuz toniesiriuz.net>
wrote:
>
>"A.L." <fela 2005.com> wrote in message
>news:7cs983dumnm181e9mh8f8gi4beu80qqs7v 4ax.com...
>
>> Slusznie, bo AG sie do tego akurat slabo nadaje.
>
>Jak na wstepie powiedzialem mam mala wiedze w tych dziedzinach. W zasadzie
>dopiero sie zaczynam uczyc. Zrobilem sobie siec uczona przez wsteczna
>propagacje bledu, bo to bylo banalne. Jednakze, wiem iz ta metoda nie jest
>doskonala, potrafi ugrzeznac w minimum lokalnym i koniec.
Wsteczna propagacja bledu (backpropagation) NIE JEST METODA
OPTYMALIZACJI. Jest to metoda obliczania gradientu funkcji. To co
podreczniki (zle poinformowanych autorow) zwykle opisuja jako
"backpropagation", to tak zwana "metoda gradientu zwyklego" znana z
tego ze jest abrdzo powoli zbiezna a najczesciej utyka gdzies daleko
od optimum.
Wykorzystujac ow gradient obliczany przy pomocy propagacji wstecznej,
mozan zastosowac znacznei wydajniejsze metody bazujace na gradiencie:
gradient sprzezony (conjugate gradient) czy metody zmiennej metryki
(variable metrics). I w tym kierunku warto isc. Przy czym nei warto
implementowac wlasnych metod optymalizacji, bo jest to naprawde
trudne, a raczej wziac ktoras z dostepnych free a majacych dobra
reputacje.
A.L.
From: "Siriuz" <siriuz toniesiriuz.net>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
"Wit Jakuczun" <wit mefisto.hades> wrote in message
news:grvel4-2mb.ln1 mefisto.hades...
Dnia Thu, 28 Jun 2007 22:35:08 +0200
"Siriuz" <siriuz toniesiriuz.net> napisał(a):
> Od razu powiem ze jestem glupi, zebysmy nie stracili czasu w trakcie,
> ktorego Pan A.L mi to udowodni :>
>
Nie wiem jak AL, ale takie stwierdzenie by mnie dowarto¶ciowało :P.
------------------
Poczytuje sobie te grupe i widze co sie dzieje :p Pan A.L. bywa nierzadko
troche niemily, ale wiedze ma duza, wiec zeby nie wywolywac niepotrzebnych
spiec przychodze z podkulonym ogonem ;)
> Pytam o to wszystko, bo pragne stworzyc sobie
> biblioteki do obliczen genetycznych
A gotowe biblioteki nie mog± być? Jest tego sporo na sieci.
------------------
Chce zrozumiec te metody i nauczyc sie czegos. Chce moc je zmodyfikowac na
wlasne potrzeby (w szczegolnosci korzystalem juz z chyba FANN, ale tam jest
ograniczenie na ilosc warstw itp). Docelowo chce sobie tez badac sieci
rekurencyjne w ktorych uwzglednia sie czas propagacji sygnalu (nie wiem czy
ma to swoja jakas nazwe bo szczerze mowiac jeszcze sie z takim zagadnieniem
nie spotkalem, no moze poza pelna symulacja biologicznych neuronow). No i na
koniec wdeplem w C#, ktory mi sie spodobal a tu ciezko znalezc jakakolwiek
gotowa biblioteke.
Pozdrawiam
Siriuz
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
Dnia Fri, 29 Jun 2007 22:53:28 +0200
"Siriuz" <siriuz toniesiriuz.net> napisa=B3(a):
=20
> A gotowe biblioteki nie mog=B1 by=E6? Jest tego sporo na sieci.
> ------------------
>=20
> Chce zrozumiec te metody i nauczyc sie czegos.=20
Rozumiem.
> nie spotkalem, no moze poza pelna symulacja biologicznych neuronow).=20
Genesis obejrzyj. Tylko, =BFe to ca=B3kiem inne sieci i ca=B3kiem inne
modelowanie ni=BF to, o kt=F3rym Ty piszesz.
> No i na=20
> koniec wdeplem w C#, ktory mi sie spodobal a tu ciezko znalezc jakakolwie=
k=20
> gotowa biblioteke.
>=20
To prawda, ale mo=BFna "podpi=B1c" biblitek=EA w C/C++.
Zdrowia
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
Dnia Fri, 29 Jun 2007 22:39:17 +0200
"Siriuz" <siriuz toniesiriuz.net> napisa=B3(a):
> Aha, jeszcze jedna sprawa. Sa jakies reguly co do dobierania poczatkowych=
=20
> wag?=20
> Ja losuje je z przedzialu od -1 do 1,=20
>=20
To jest ok. Og=F3lnie warto sobie par=EA razy wylosowa=E6 wagi i wybra=E6
te, kt=F3re da=B3y najlepsze rezultaty, ewentualnie u=BFy=E6 wszystkich
sieci i u=B6rednia=E6 ich odpowiedzi.
> Wobec tego wydaje mi sie bledem jedno z dwoch -=20
> przyjmowanie tego wspolczynnika 'a' o stalej wartosci dla wszystkich=20
> neuronow, albo stalego przedzialu losowanych wag, poniewaz neurony o=20
> wiekszej liczbie wejsc beda mialy tendencje do czestszego generowania=20
> jedynek.=20
A co z wagami dla tych wej=B6=E6? Czego=B6 nie rozumiem. Wej=B6cie do funkc=
ji
aktywacji to iloczyn skalarny zestawu wag i danych.
Og=F3lnie powiniene=B6 kontrolowa=E6 wielko=B6=E6 wag (np. mno=BF=B1c wylic=
zone wagi przez
pewn=B1 ma=B3=B1 sta=B3=B1). Zdolno=B6ci uogolniania sieci
zale=BF=B1 w=B3a=B6nei od tego, a nie jak by mo=BFna si=EA spodziewa=E6 od =
liczby=20
warst czy te=BF neuron=F3w. W odpowiedzi na post AL poda=B3em artyku=B3=20
traktuj=B1cy o tym zagadnieniu.
Poczytaj o regularyzacji, "early stopping", ensembles, a tak w og=F3le=20
to polecam zapozna=E6 si=EA z ca=B3=B1 mas=B1 alternatyw dla sieci: random
forests, boosting, arcing, mars, gam, glm, ridge regression. =20
Og=F3lnie dzisiejszy trend jest taki, =BFe stosuje si=EA wsz=EAdzie=20
regularyzacj=EA. To znaczy, =BFe czysta sie=E6 nie jest ju=BF trendy ;).
Og=F3lnie to jest tak, =BFe metoda typu sie=E6 neuronowa to jest JEDYNIE=20
element uk=B3adanki jak=B1 jest analiza danych.=20
> Chodz jak wyczytalem w innym miejscu to nie jest powod dla ktorego wprowa=
dzono bias do=20
> neuronow.
>=20
A jaki by=B3 pow=F3d?
Zdrowia
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
[ Short offer: data mining, operational research,=20
time series forecasting, consulting ]
From: darked <darek.kedra gmail.com>
Subject: Re: Sieci neuronowe w OCR
On Jun 11, 9:31 pm, "bruno" <taoise... wp.pl> wrote:
> Witam =B6l=EAdz=EA t=EA grup=EA tematyczn=B1 od jakiego=B6 czasu.
> Temat bardzo interesuj=B1cy. Mnie akurat w kontek=B6cie finans=F3w.
> Pozwole sobie zauwa=BFy=E6 A.L. =BFe masz inne google.
>
> U=BFytkownik "A.L." <f... 2005.com> napisa=B3 w wiadomo=B6cinews:d9q553h9=
njq3djco9h17iek6a3iu2mjgku 4ax.com...
>
> > On Tue, 22 May 2007 09:20:45 +0200, Tomasz Grabi=F1ski
> > <tomasz.grabin... plansolutions.de> wrote:
>
> > >A.L. pisze:
>
> > >>> A co to jest k-NN?
>
> > >> Google
>
> > >> A.L.
>
> > >Napisze bo faktycznie w googlach pod "knn" wyskakuje 100 stacji
> > >telewizyjnych - metoda k-NN to metoda k najbli=BFszych s=B1siad=F3w,
>
> > To mamy inne google bo mnie pod k-nn od razu wyskakuje to co trzeba
>
> > A.L.
>
> > P.S> Nigdy nie pisze "google" nei sprawdziwszy uprzednio ze dana rzecz
> > mozna latwo znalezc.
wystarczy super inteligentnie wpisac: k-nn neural nets
Pozdr
From: "Siriuz" <siriuz toniesiriuz.net>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
"Wit Jakuczun" <wit mefisto.hades> wrote in message
news:c9chl4-l13.ln1 mefisto.hades...
> nie spotkalem, no moze poza pelna symulacja biologicznych neuronow).
Genesis obejrzyj. Tylko, że to całkiem inne sieci i całkiem inne
modelowanie niż to, o którym Ty piszesz.
-------------
Widzialem genesis, straszny kombajn ;)
Nie chce symulowac biologicznych neuronow, tylko dodac pewne ich cechy do
prostych modeli. Bardzo mnie ciekawi dynamika sieci w ktorej impulsy
zamkniete sa w petlach i siec caly czas sama sie pobudza, a "odpowiedz"
rozciagnieta jest w czasie.
To prawda, ale można "podpi±c" biblitekę w C/C++.
-------------
Proteza ;) Ale jak powiedzialem te biblioteki (darmowe) czesto sa
ograniczone w funkcjonalnosci.
Zdrowia
--
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
Dnia Sat, 30 Jun 2007 13:48:06 +0200
"Siriuz" <siriuz toniesiriuz.net> napisa=B3(a):
=20
=20
> A co z wagami dla tych wej=B6=E6? Czego=B6 nie rozumiem. Wej=B6cie do fun=
kcji
> aktywacji to iloczyn skalarny zestawu wag i danych.
> ------------------
>=20
> To na przykladzie.
> Dla neuronu o dwoch wejsciach przy zalozeniu ze wszystkie wagi sa wylosow=
ane=20
> z zakresu <-1,1> mozemy otrzymac na wejsciu funkcji aktywacji <-1*1+-1*1,=
=20
> 1*1+1*1>, czyli <-2, 2>
> Dla neuronu o trzech wejsciach mozemy analogicznie otrzymac na wejsciu f.=
a.=20
> <-3,3>.
Mo=BFemy. Pami=EAtaj jeszcze o normalizacji danych.=20
Nadal nie rozumiem co Ci=EA martwi. Przecie=BF w trakcie uczenia wagi powin=
ny by=E6 tak=20
dobierane, aby wyj=B6cie z funkcji aktywacji odpowiada=B3o danym.
> A jaki by=B3 pow=F3d?
> ------------
>=20
> Poszerzenie mozliwosci uczenia neuronu, nie tylko o te szczegolne przypad=
ki,=20
> kiedy na wejsciach sa zera.
>=20
Wiesz co to liniowa przestrze=F1 afiniczna i czym si=EA r=F3=BFni od=20
przestrzeni linowej?=20
Zdrowia
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
[ Short offer: data mining, operational research,=20
time series forecasting, consulting ]
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
Dnia Sat, 30 Jun 2007 13:52:53 +0200
"Siriuz" <siriuz toniesiriuz.net> napisa=B3(a):
> > nie spotkalem, no moze poza pelna symulacja biologicznych neuronow).
> Genesis obejrzyj. Tylko, =BFe to ca=B3kiem inne sieci i ca=B3kiem inne
> modelowanie ni=BF to, o kt=F3rym Ty piszesz.
> -------------
>=20
> Widzialem genesis, straszny kombajn ;)
Jak powiedzia=B3em genesis s=B3u=BFy do czego innego ni=BF sieci, o kt=F3ry=
ch
piszesz! Wsp=F3lna jest tylko terminologia i to w ma=B3ym stopniu! Jest
stosowany m.in. w Instytucie Biologii Do=B6wiadczalnej im. M. Nenckiego
do modelowania PROSTYCH uk=B3ad=F3w kom=F3rek neuronowych.
> Nie chce symulowac biologicznych neuronow, tylko dodac pewne ich cechy do=
=20
> prostych modeli.=20
Modeli czego?
> To prawda, ale mo=BFna "podpi=B1c" biblitek=EA w C/C++.
> -------------
> Proteza ;)=20
Korzystanie z gotowych rozwi=B1za=F1 jest protez=B1?
> Ale jak powiedzialem te biblioteki (darmowe) czesto sa=20
> ograniczone w funkcjonalnosci.
>=20
By=E6 mo=BFe. http://www.r-project.org ogl=B1da=B3e=B6? Tam s=B1
sieci dost=EApne. Proponuj=EA, =BFeby=B6 poeksperymentowa=B3 troch=EA
a dopiero potem zabiera=B3 si=EA za pisanie swojego kodu. Tak
b=EAdzie dla Ciebie lepiej.
Zdrowia
--=20
[ Wit Jakuczun <W.Jakuczun [at] wlogsolutions.com> ]
[ WLOG Solutions http://www.wlogsolutions.com ]
From: "Siriuz" <siriuz toniesiriuz.net>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
"Wit Jakuczun" <wit mefisto.hades> wrote in message
news:jithl4-1rk.ln1 mefisto.hades...
Dnia Sat, 30 Jun 2007 13:48:06 +0200
"Siriuz" <siriuz toniesiriuz.net> napisał(a):
Możemy. Pamiętaj jeszcze o normalizacji danych.
Nadal nie rozumiem co Cię martwi. Przecież w trakcie uczenia wagi powinny
być tak
dobierane, aby wyj¶cie z funkcji aktywacji odpowiadało danym.
----------
Ok, mozna znalezc podpowiednie wagi i bedzie dzialac, ale...
1) gdyby poczatkowe wagi losowac w przedziale odpowiednio dopasowanym do
ilosci wejsc neuronu, sadze ze siec nauczyla by sie odwzorowania szybciej.
2) przy _BARDZO_ duzej liczbie wejsc wagi beda bardzo male i moze sie
pojawic klopot z dokladnoscia numeryczna.
Wiesz co to liniowa przestrzeń afiniczna i czym się różni od
przestrzeni linowej?
----------
Nie pamietam. Uczylem sie o tym 5 lat temu i nigdy nie rozumialem dobrze bo
abstrakcja pojec mnie troche hamowala ;) Widze, ze jest w wikipedii. Wiec do
czego zmierzasz?
Pozdrawiam
Siriuz
From: "Siriuz" <siriuz toniesiriuz.net>
Subject: Re: a. genetyczne, zmiennoprzecinkowe
"Wit Jakuczun" <wit mefisto.hades> wrote in message
news:dtthl4-1rk.ln1 mefisto.hades...
Jak powiedziałem genesis służy do czego innego niż sieci, o których
piszesz! Wspólna jest tylko terminologia i to w małym stopniu! Jest
stosowany m.in. w Instytucie Biologii Do¶wiadczalnej im. M. Nenckiego
do modelowania PROSTYCH układów komórek neuronowych.
----------
Wiem do czego sluzy genesis, i czym rozni sie symulowanie biologicznych
neuronow od zagadnien sztucznych sieci neuronowych. Jeszcze raz podkreslam,
ze nie zamierzam symulowac biologicznych neuronow :p
> Nie chce symulowac biologicznych neuronow, tylko dodac pewne ich cechy do
> prostych modeli.
Modeli czego?
---------
_Prostym_ modelem komorki nerowowej jest perceptron.
> To prawda, ale można "podpi±c" biblitekę w C/C++.
> -------------
> Proteza ;)
Korzystanie z gotowych rozwi±zań jest protez±?
-------------
To byl zarcik. Niemniej dostosowywanie czegos stworzonego z mysla o innym
narzedziu do pracy z naszym jest w pewnym sesie proteza. Nie wiem jak
podpinanie dziala pod C#. Jestem negatywnie nastawiony do takich pomyslow :)
chodz moze niepotrzebnie.
Być może. http://www.r-project.org ogl±dałe¶? Tam s±
sieci dostępne. Proponuję, żeby¶ poeksperymentował trochę
a dopiero potem zabierał się za pisanie swojego kodu. Tak
będzie dla Ciebie lepiej.
--------------
Widze ze to chyba cale srodowisko do obliczen statystycznych. Raczej nie
chce sie uczyc jakiegos jezyka tylko po to zeby zobaczyc jak ktos postanowil
go zorganizowac. W szczegolnosci mam pewne swoje upodobania co do skladni i
pragne ich uzyc przy konstrukcji moich programow/bibliotek.
Pozdrawiam
Siriuz