[es] - SpikeFun - Artificial Nervous System Demo

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16752
2a02:a212:92c5:5e80:d575:79a..

+7204 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{11.10.2024. u 21:52 - pre 6 meseci}

Sa beskonacno vremena i racunarskih resursa, mozda :-)))

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Odgovor na temu

MajorFatal
Milija Jakic
opravljam oluke, 1337LAB
Bg

Član broj: 36595
Poruke: 1510
87.116.161.*

+604 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{11.10.2024. u 22:29 - pre 6 meseci}

Citat:

mjanjic:
Nego, mnogo je veća "tajna" kako se od jedne oplođene jajne ćelije i kasnije zigota razvije tako složen mozak. Jeste zahvaljujući DNK, ali opet, kako određeni elementi imaju baš takva svojstva kakva imaju zahvaljujući različitom broju protona, neutrona i elektrona. Ako se neutron posmatra kao kombinacija protona i elektrona, eto imamo samo 2 osnovna elementa (da ne ulazimo u priču o kvarkovima), i kod računara imamo dva osnovna "elementa", nula i jedan, pa pomoću njih nismo uspeli da napravimo ništa približno mozgu :)))

Dnk oko 5 megabajta podataka, ali 5 megabajta uputstava recimo .. na toliko papira možeš da napišeš upustva za pravljenje nekog kompjutera recimo ..

Meni nešto drugo bilo zanimljivo, jajna ćelije se podeli na dve ćelije, pa na 4, pa na 8 i sve do tada su stem, matične ćelije, već pri sledećoj deobi sa 8 na 16 ovih novonastalih 16 više nisu stem, i više nisu iste, identične međusobno, nego polovina od tih 16 sadrži informaciju da je u pitanju (budući) gornji deo tela, a druga polovina da je donji .. kako, na koji način? Da li bi mogao da se napravi softver koji se tako ponaša, da se umnoži na 2, pa 4, pa 8, i da je sve vreme identičan uključujući čak i naziv softvera, i ceo kod, a pri sledećoj deobi da polovina od broja softvera postane različita?

Pri svemu tome softver bi od početka morao da ima na svoj osnovni kod još bar 100 Mb informacija, jer prilikom ovih prvih deoba ćelije još uvek nemaju mogućnost rasta, nego se smanjuju, od jedne postanu dve manje, pa 4 još manje, pa 8 najmanjih, koje još uvek moraju da budu veće od 5 Mb koliko je najmanje potrebno da se pothrani dnk niz ..

Citat:

Ivan Dimkovic:
Sto se tice mapiranja celog mozga, to je svakako impresivan uspeh ali samo mapiranje ne daje kompletnu sliku neophodnu da se reprodukuje ponasanje. Jos pre 10-tak godina je kompletno mapiran nervni sistem C. Elegans crva sa svim sinapsama, ali cak ni to ne reprodukuje kompletnu dinamiku.

Šta znači "čak ni to ne reprodukuje kompletnu dinamiku"? Softverski crv nije osećao glad? :)

Nemoj da pricas?

Odgovor na temu

Shadowed
Vojvodina

Član broj: 649
Poruke: 12881

+4827 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{11.10.2024. u 22:49 - pre 6 meseci}

Ako mislis na ljudsku DNK, ima znatno vise od 5MB podataka.
Sto se embrionalnog razvoja tice, a i inace, sve celije tela imaju isti DNK. Celije se diferenciraju na osnovu toga koji su geni aktivni. Podela nije bas gore/dole u startu, ali nebitno. Jedan deo celija (one koje su unutar sigota) aktivira druge gene i pocinje da se razlikuje od drugih celija.
Softver moze da napravi x svojih kopija a zatim jos x drugacijih. To je trivijalno.

Nebojsa Milanovic:
-Trumpa smatram vrhunskim predsednikom i voleo bih da živim u državi na čijem je on čelu
-Rusija ne laže, ne vodi osvajačke ratove
-Trump je svetla tačka u USA blatu
-Elon Musk, možda najpametniji i najtrezveniji Amerikanac

Odgovor na temu

MajorFatal
Milija Jakic
opravljam oluke, 1337LAB
Bg

Član broj: 36595
Poruke: 1510
87.116.161.*

+604 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{11.10.2024. u 23:35 - pre 6 meseci}

Citat:

Shadowed: Ako mislis na ljudsku DNK, ima znatno vise od 5MB podataka.

U vreme mog školovanja dnk je imao 3 miliona parova, vidim sad ima 220 miliona, svejedno to mu dođe oko 450 Mb podataka, dovoljno za upustva za dobar kompjuter ..

Citat:

Softver moze da napravi x svojih kopija a zatim jos x drugacijih. To je trivijalno.

Eh pa ne X kopija, već X polovina sebe, jer se za tih nekoliko podela ćelije smanjuju, i posle toga ne X drugačijih, nego da 8 do tada identičnih po kodu softvera napravi 16 novih softvera, od kojih su 8 jednog tipa i 8 drugog tipa .. ? Ne mogu to da zamislim, a da su uputstva u samom softveru, samim tim uputstva su sve vreme ista .. tjah ..

Nemoj da pricas?

Odgovor na temu

Shadowed
Vojvodina

Član broj: 649
Poruke: 12881

+4827 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{12.10.2024. u 01:07 - pre 6 meseci}

Imao je isto i u vreme tvog skolovanja.

Poredjenje sa softverom ti je svakako besmisleno.
Inace, brazdanje oplodjene jajne celije nije bukvalno presecanje na pola. I dalje se odvija kompletan proces mitoze, samo celije posle deobe ne rastu.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16752
..2c5:5e80:745b:6e76:bbbf:a7ab

+7204 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{12.10.2024. u 08:04 - pre 6 meseci}

Citat:

MajorFatal
Šta znači "čak ni to ne reprodukuje kompletnu dinamiku"? Softverski crv nije osećao glad? :)

E da smo bar dosli do toga, bili bi na konju - kad budemo mogli da filozofiramo da li softverski crv oseca ili ne, stigli smo negde ;-))))

Softverski crv ne radi uopste, sa sve individualnim sinapsama zato sto nedostaje bog-te-pita-sta-jos. To sto mi vidimo kao, lupam, mesto sinaptickog receptora je komplikovan molekularni 'aparat', da se tako izrazim, koji se opet sastoji od komplikovanih 'aparata' zvanih molekuli koji se sastoje od... vidis vec gde idem sa ovom pricom :-)

Worst-case scenario je da ti ni lattice-QCD nivo 'emulacije' nije dovoljan da dobijes paritet u ponasanju u realnim uslovima, sto svakako za sada ne mozemo da proverimo zato sto sa tim nivoom 'rezolucije' nismo u stanju ni najjednostavniji molekul da simuliramo zbog eksponencijalnog rasta kompleksnosti ako hoces taj nivo detalja (ovaj problem je potencijalno resiv sa kvantnim racunarima koji bi mozda bili najbolji nacin za simulacije prirode... pod uslovom da uspemo da sklepamo to sokocalo da ima dovoljan broj qbita). Plus... ni Lattice QCD nije bez precica, da ne otvaram sad dodatna pitanja oko kompletnosti tog modela.

Ostaje nada da je OK zadovoljiti se sa nekim visim nivoom apstrakcije, ali jedini dokaz za to ce biti nesto sto funkcionise kako treba kompletno, sto se jos nije desilo. Mislim, kul je sto sa nekoliko diferencijalnih jednacina mozes da reprodukujes konacni 'izlaz' neurona, ali to je samo u specijalnom izolovanom rezimu gde si replicirao ponasanje neurona kako ga vidis u lab. uslovima sa zakacenim sondama - to nije isto sto i ponasanje u hrpi neurona sa gomilom neurotransmitera i ko-zna-cega-jos sto pliva okolo.

Odgovor na temu

MajorFatal
Milija Jakic
opravljam oluke, 1337LAB
Bg

Član broj: 36595
Poruke: 1510
87.116.161.*

+604 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{12.10.2024. u 13:30 - pre 6 meseci}

Citat:

Shadowed:
Poredjenje sa softverom ti je svakako besmisleno.

Ta nisam ništa poredio sa softverom, ali kao što i sam znaš softver može da posluži da nekad nešto simuliramo .. nit bi mogao da ima brojač, jer ćelije nemaju brojače, ili ne da ja znam, nit bi mogli da komuniciraju među sobom jer ćelije ne komuniciraju, ok od istog napraviti različito, ali ko će da prebroji da ih je tačno 8 jednih, i tačno 8 drugih a da nije izvan tog sistema od njih 16 .. bah ..

Citat:

Ivan Dimkovic:
Softverski crv ne radi uopste, sa sve individualnim sinapsama zato sto nedostaje bog-te-pita-sta-jos. To sto mi vidimo kao, lupam, mesto sinaptickog receptora je komplikovan molekularni 'aparat', da se tako izrazim, koji se opet sastoji od komplikovanih 'aparata' zvanih molekuli koji se sastoje od... vidis vec gde idem sa ovom pricom :-)

Pa ni biološki crv ne radi bogzna šta, recimo da živi u jabuci, bukvalno je okružen hranom, sve što treba da radi je da 1 ide napred i 2 jede, 3 olakšava se, eventualno može da ima neki centar kome jave senzori na koži da je stigao do ivice, i krenuo da ispada iz jabuke to je 4, sve ukupno 4 funkcije .. možda sad kad ima simulacija mozga mušice, može da se dokaže da njen mozak ima dovoljno kapaciteta da obezbedi letenje okolo, a da mozak crva nema dovoljno potencijala za takvo nešto šta ti ja znam ..

Nemoj da pricas?

Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 3008

+775 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{12.10.2024. u 13:30 - pre 6 meseci}

Mi još ne znamo šta je ŽIVOT (ne mislim na provod i sl., već u biološkom smislu) i pitanje je da li ćemo ikada saznati.
Živa bića, pa čak i biljke, očigledno nisu samo jednostavno "malo" složeniji molekularni roboti, tu će uvek nedostajati ona neka komponenta koju ne razumemo.

Pre neki dan pročitam negde MEME, nešto tipa kad fizičar proučava ponašanje atoma, ako imamo u vidu da se ljudsko telo sastoji iz atoma, onda to praktično znači da jedna grupa atoma proučava druge atome :)[/quote]

Blessed are those who can laugh at themselves, for they shall never cease to be amused.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16752
..2c5:5e80:745b:6e76:bbbf:a7ab

+7204 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{12.10.2024. u 14:57 - pre 6 meseci}

@MajorFatal,

Problem je sto taj softverski crv ne radi ni to sto njegova bioloska verzija radi, koliko god da je to prosto. Za softversku vocnu musicu su jos manje sanse da ce biti funkcionalna u skorije vreme :-)

Mislim da je biranje nervnog sistema tj. fenomenoloskih modela neurona i sinapsi cist proizvoljni nivo apstrakcije koji smo mi izabrali kao nekakav izazov, gde jedan deo ljudi veruje da je taj nivo apstrakcije dovoljno detaljan da na proizvede korisno ponasanje takve simulacije.

Ta tvrdnja nema neko utemeljenje u teoriji, posto je nemamo, niti za sada ta tvrdnja moze da se posluzi eksperimentalnom potvrdom, koju takodje nemamo. Za sada smo replicirali neke fenomene koje mozemo eksperimentalno izmeriti i na "pravoj stvari" ali bilo sta slicno konkretnom ponasanju ili bilo kojoj kompleksnoj akciji je i dalje izazov.

Bukvalno cela stvar pociva na veri da je to moguce - a ako se pokaze da nije, zna se, spusticemo nivo apstrakcije na nizi nivo npr. molekularni... pa ako i to ne sljaka, mozemo i dalje da se spustamo (koliko stanje racunarske nauke dozvoljava) i, mozda, jednog dana, repliciramo zivu materiju.

A mozda i ne....

Veliki pomak bi bio kad bi mogli biti u stanju da simuliramo neki jednocelijski organizam... ali cak ni to za sada nije moguce. A svaki neuron te vocne musice je, prakticno, organizam za sebe.

Odgovor na temu

MajorFatal
Milija Jakic
opravljam oluke, 1337LAB
Bg

Član broj: 36595
Poruke: 1510
87.116.161.*

+604 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{13.10.2024. u 12:36 - pre 6 meseci}

Citat:

Ivan Dimkovic:
Problem je sto taj softverski crv ne radi ni to sto njegova bioloska verzija radi, koliko god da je to prosto. Za softversku vocnu musicu su jos manje sanse da ce biti funkcionalna u skorije vreme :-)

Ne vredi, opet slabo razumem, tvrdiš da su softverskom crvu obezbedili softversku jabuku, ali on odbija da gmiže i jede .. ? Ili na koji način ne radi to što biološka verzija radi?

Nemoj da pricas?

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16752
2a02:a212:92c5:5e80:b07a:5d5..

+7204 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{13.10.2024. u 13:46 - pre 6 meseci}

Taj softverski crv ne radi nista, daleko su oni i od mogucnosti da mu daju 'softversku jabuku'.

Sofisticirana verzija pinokija, ali i dalje - Pinokio ;-)

Odgovor na temu

MajorFatal
Milija Jakic
opravljam oluke, 1337LAB
Bg

Član broj: 36595
Poruke: 1510
87.116.161.*

+604 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{13.10.2024. u 14:22 - pre 6 meseci}

Mora da jede, makar na silu .. :) šalim se, šalim, ali dosta razgovora iz oblasti o kojoj malo znam ..

Nemoj da pricas?

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16752
2a02:a212:92c5:5e80:b07a:5d5..

+7204 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{13.10.2024. u 14:51 - pre 6 meseci}

Za sada jede samo struju koju trosi za vreme simulacije :-)

Btw, SpikeFun 2.15 je izbacen - ima optimizacije u shader-ima i optimizacije za trcanje malih simulacija (do ~1M neurona) na masinama sa velikim brojem jezgara (>96) - ubrzanja su od ~25% za 1M neurona do >2x za 200K neurona.

Problem je drzati npr 128 jezgara zauzetim sa tako malim simulacijama, a ako nit ode 'na spavanje' to pravi latenciju koja ubija performanse. Resenje je hibridna barijera koja neko vreme koristi spinlock (sa pause instrukcijom, naravno). Naravno ovo je pipava stvar kao i svako koriscenje spinlock-ova u userspace-u, ali mislim da sam nasao odgovarajuci tradeoff koji ne ubija performanse sistema a performanse su unutar 5% maksimalnih mogucih (scenario gde sve radne niti imaju realtime performanse i koriste spinlock za sinhronizaciju).

Na vecim simulacijama (2M neurona+) ovo nije ni ranije bio problem, zato sto ima dovoljno batch-eva za scheduler da popuni sve procesore uvek. Isto tako i sa malim simulacijama, ovaj problem se ne vidi na masinama sa manjim brojem jezgara (8-32 mozda i 64, nisam probao), tek postaje vidljiv kada je broj jezgara dovoljno velik.

Odgovor na temu

kosmopolita
Beograd

Član broj: 257864
Poruke: 160

+27 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{13.10.2024. u 15:44 - pre 6 meseci}

Znači da se radne niti sinhronizuju ovako:

- nit1 sa spinlock ulazi u sinhronizaciju
- nit2 sa spinlock čeka
- nit3 sa spinlock čeka
..
- nit1 završava
- nit2 počinje
- nit3 i dalje čeka
..

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16752
77.241.232.*

+7204 Profil

Re: SpikeFun - Artificial Nervous System Demo

^{13.10.2024. u 18:55 - pre 6 meseci}

Zapravo, u najvecem delu posla nema sinhronizacije, sinhronizacija je samo eventualno potrebna za vreme barijera.

Pseudokod:

Code:

void Nit_Za_Procesiranje() {

  do {

    // pocetak svakog koraka simulacije

    update_struja_provodljivosti_voltaza();

    barijera();

    dostavi_akcione_potencijale();

    barijera();

    // Novi korak simulacije
    // simTimeStamp += 1 --> ovo radi poslednja nit koja napusta barijeru gore

  } while(!stop);

}

Svi poslovi (update_xxx, dostavi_xxx) imaju work scheduler koji je u stanju da "krade" posao od sporijih niti na istom NUMA nodu. Sam scheduler je lockless i ni jedna funkcija u procesiranju nema zavisnost podatka sa drugim nitima, osim dostavljanja akcionih potencijala gde se atomickim instrukcijama uvecavaju provodljivosti ali to je mali broj neurona (relativno) sa, takodje, jos manjom 'guzvom'.

Problem je sto se cesto desi da neka od niti (jedan CPU = jedna radna nit) ili uspava na kratko od strane OS schedulera, ili se na kraju ipak sve svede da su sve ostale niti gotove dok par niti procesira poslednji batch.

U slucaju barijere koja uspava nit koja ceka da se barijera oslobodi imas problem da to automatski znaci bar desetine mikrosekundi gubitaka zbog OS schedulera i puta u kernel. To onda uspori sve ostalo zato sto ta latencija blokira da se ostale stvari zavrse i tako ponavljaj sa svakim korakom u simulaciji. Napomena - ovo je samo problem sa relativno malim simulacijama, sa dovoljno posla (batch-eva) se ovaj problem ne primecuje i svi procesori cak i da ih ima trocifren broj su zakucani na 100% :-)

Alternativa je da barijera malo 'spinuje' pre nego sto odustane i otera nit na spavanje - trik je u tome koliko je to 'malo' dovoljno da 'ispegla' dziter u vremenima zavrsavanja poslednjih batch-eva a da ne preoptereti sistem zato sto u tom slucaju imas vecinu niti koje spinuju i cekaju da par poslednjih niti zavrsi posao.

Resenje koje imam na Windows platformi je kombinacija privremenog spinovanja i konacno WaitOnAddress(); / WakeByAddressAll(); sto je Windows varijanta futex koncepta na Linuxu (sa najvisim performansama od svih ostalih slicnih sinhronizaconih primitiva). Ovo daje performanse unutar 95% performansi cistog spinovanja sa najvisim prioritetom (gde nema inverzije) - ali bez losih posledica po performanse celog sistema.

Odgovor na temu