[es] - EfficientNet: Achieving State-of-The-Art Results By Systematically Scaling Deep Neural Networks

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16753
...kabel-badenwuerttemberg.de.

+7204 Profil

EfficientNet: Achieving State-of-The-Art Results By Systematically Scaling Deep Neural Networks

^{16.06.2019. u 17:15 - pre 70 meseci}

Izvor: https://neurohive.io/en/news/e...-scaling-deep-neural-networks/

Citat:

In their paper “EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks”, researchers from Google argue that the scaling of deep neural networks should not be done arbitrarily and proposed a method for structured scaling of deep networks.

They proposed an approach where different dimensions of the model can be scaled in a different manner using scaling coefficients.

To obtain those scaling coefficients, they perform a grid search to find the relationship between those scaling dimensions and how they affect the overall performance. Then, they apply those scaling coefficients to a baseline network model to achieve maximum performance given a (computational) constraint.

Rezultat?

EfficientNet-B7 postize najbolje rezultate sa drasticno manjim brojem parametara. Prakticno moze da postigne iste performanse kao sledeci najbolji model sa skoro 8x manje parametara (!).

Sa ovim polako ulazimo u eru gde ce inovacije u skaliranju mreza biti nalazene automatizovanim algoritmima za optimizaciju a ne nagadjanjem.

EfficientNet postize 97.1% Top-5 preciznost na ImageNet datasetu u isto vreme bivajuci 8.4x manji i 6.1x brzi od Gpipe-a.

Cisto poredjenja radi, AlexNet, koji je izazvao "deep learning" revoluciju pre 7 godina je dostizao 80.3% Top-5 preciznost.

Uzgred, ljudi postizu 94.9% preciznost na istom datasetu.

Papir: https://arxiv.org/abs/1905.11946
Model: https://ai.googleblog.com/2019...et-improving-accuracy-and.html

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Prikačeni fajlovi

Screenshot-from-2019-06-02-14-09-40-570x417.png - 142.55k

Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2809

ICQ: 49345867
Sajt: https://www.twinstarsyste..

+657 Profil

Re: EfficientNet: Achieving State-of-The-Art Results By Systematically Scaling Deep Neural Networks

^{16.06.2019. u 18:08 - pre 70 meseci}

Vrrlo zanimljivo i vrlo zanimljiv pristup. Vecina koju sam ja video koristi convolutional networks (kako se ovo prevodi na srpski?), za bas image recognition, i da, kako im zatreba preciznost dodaju node-ove. Zapravo, nikad nisam razmisljao kako se bira da li dodavati node-ove u duzinu ili sirinu, nekako mi je dubina jos bila i bolja, tu "samo" treba da se doda compute za proracun, kad povecavas sirinu onda dodatno komplikujes i upotrebu, jer postaje slozenije racunati cosine distance vektora rezultata....

Najzanimljivije su mi dve stvari:

- Ovde masina optimizuje masinu da bolje radi, tj. uslovno receno, masina evoluira "sama od sebe", tj. od pocetnih uslova, po kriterujumu uspesnosti.... Ovo je JAKO blizu nekom mom poimanju pojma evolucije.
- Masina koja je bolja od coveka u ovako necemu je vrlo ozbiljna stvar. Jedna od stvari u kojima je nas mozak zapravo dobar je prepoznavanje obrazaca, mi to radimo nesvesno, jako cesto i jako dobro. Cesto to radimo i kad nema obrasca....

Kad razmislim za sta se sve koriste convolusional networks (to je jedan od cescih modela u upotrebi), pocinjem da se osecam, onako... cudno. Jednostavno, saznanje da postoji toliko primena, za masine koje su samo optimizujuce, koje su bolje od nas u nekim od stvari za koje smo do sad mislili da su nam prednost, pocinjem da se osecam cudno.

Hvala za clanak, odlican je!

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 3003

+771 Profil

Re: EfficientNet: Achieving State-of-The-Art Results By Systematically Scaling Deep Neural Networks

^{17.06.2019. u 12:35 - pre 70 meseci}

Sećam se teksta o tome kako su analizirali mozak nekog insekta, zaprepastili se koliko funkcija ima sa relativno malo neurona, ali problem je u tome što je mozak u stvari "analogni računar". Možda kod ovih digitalnih računara može da se napravi neuronska mreža koja je malo više prilagođena binarnom brojnom sistemu...

Blessed are those who can laugh at themselves, for they shall never cease to be amused.

Odgovor na temu

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
109.72.51.23

+1065 Profil

Re: EfficientNet: Achieving State-of-The-Art Results By Systematically Scaling Deep Neural Networks

^{17.06.2019. u 12:49 - pre 70 meseci}

Neuronska mreza na digitalnom racunaru nije ono sto je u mozgu svakako. Niti moze biti. Da bi bila, potreban je analogni kompjuter, kao sto si dobro primetio...

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16753
...kabel-badenwuerttemberg.de.

+7204 Profil

Re: EfficientNet: Achieving State-of-The-Art Results By Systematically Scaling Deep Neural Networks

^{17.06.2019. u 17:00 - pre 70 meseci}

Citat:

mjanjic:
Sećam se teksta o tome kako su analizirali mozak nekog insekta, zaprepastili se koliko funkcija ima sa relativno malo neurona, ali problem je u tome što je mozak u stvari "analogni računar". Možda kod ovih digitalnih računara može da se napravi neuronska mreža koja je malo više prilagođena binarnom brojnom sistemu...

I analogni racunar ima konacan broj stanja, ne moze da predstavlja beskonacno male promene. To ne znaci da analogni karakter tog organa treba ignorisati, ali treba biti svestan i limita. Individualne sinapse, na primer, mogu kodirati nekoliko bitova informacija i obicno su im jacine "kvantizovane" tj. proporcionalne sa brojem receptorskih mesta. Sa druge strane, priroda funkcionisanja je fundamentalno elektrohemijska i svi ti efekti sigurno do neke mere uticu na "rad".

Ali svakako, prirodni evolutivni proces je u stanju da izuzetno optimizuje koriscenje raspolozivih resursa tako da je mogucnost reprezentacije muvljeg mozga sigurno daleko veca nego sto bi mi trivijalno mogli da zakljucimo cisto brojeci neurone ili cak sinapse.

Nije potrebno cak ni testirati muve, primena evolutivnih algoritama na dizajnu FPGA kola je iznenadila naucnike zato sto je FPGA kolo dobijeno tom optimizacijom bilo izuzetno "komprimovano" i delovi koji na prvi pogled nisu imali funkciju su zapravo bilo neophodni (http://citeseerx.ist.psu.edu/v...9691&rep=rep1&type=pdf) zato sto je evolutivni algoritam ocigledno uzeo u obzir i elektromagnetne efekte koje bi ljudski dizajner ignorisao.

Citat:

Branimir Maksimovic
Neuronska mreza na digitalnom racunaru nije ono sto je u mozgu svakako. Niti moze biti. Da bi bila, potreban je analogni kompjuter, kao sto si dobro primetio...

Ali ne mora ni biti za gomilu prakticnih primena.

Evo bas ovaj EfficientNet, na ImageNet setu je ocigledno bolji i od treniranog coveka u klasifikaciji objekata. Naravno, neko ce reci da je to ekvivalent "fah idiotu" koji moze samo jednu funkciju da radi, ali sasvim je OK da imamo razne mreze za razlicite stvari koje u svojim domenima rade posao bolje od wetware-a :-)

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16753
*.web.vodafone.de.

+7204 Profil

Re: EfficientNet: Achieving State-of-The-Art Results By Systematically Scaling Deep Neural Networks

^{19.06.2019. u 15:58 - pre 70 meseci}

Citat:

nkrgovic
Kad razmislim za sta se sve koriste convolusional networks (to je jedan od cescih modela u upotrebi), pocinjem da se osecam, onako... cudno. Jednostavno, saznanje da postoji toliko primena, za masine koje su samo optimizujuce, koje su bolje od nas u nekim od stvari za koje smo do sad mislili da su nam prednost, pocinjem da se osecam cudno.

Mislim da nema potrebe, verujem da ce proci jos jako puno vremena dok masinska inteligencija ne bude u stanju da parira ljudima u generalnoj inteligenciji.

Ali ono gde ce definitivno dominirati su specijalizovane stvari, kao sto je prepoznavanje objekata, ljudi, govora i sl. Vec u nizu tih kategorija su duboke mreze premasile performanse ljudi.

I to ce se verovatno desiti sa svakom stvari koju obavlja ljudski senzorni korteks i nekoliko prvih dubljih slojeva u mozgu.

U tom pogledu, trenutni AI se moze uporediti sa tzv. "idiot savant" (ne znam kako se to prevodi na srpski) ljudima koji su uopsteno intelektualno ograniceni, ali su izuzetno dobri u specificnim stvarima, mnogo bolji od obicnih ljudi.

Zanimljivo, pre nekoliko godina su radjeni eksperimenti gde su ljudima manipulacijom blokirani visi mozdani centri koji se nalaze dublje u hijerarhiji procesiranja. Rezultat je bio vrlo interesantan: blokadom visih centara su skocile performanse u specijalistickim zadacima. Izgleda svi mi mozemo biti "Rain Man" ako privremeno iskljucimo vise, integrativne, mozdane centre sto rezultuje svesnom pristupu informacijama nizeg nivoa koje bivaju potisnute daljim procesom integracije.

Evo radova: https://pdfs.semanticscholar.o...1360b4f2dd45e184cf0f544c74.pdf i https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2677578/

Moguce je da trenutne AI mrezne arhitekture upravo oslikavaju "primitivnije" (relativno) procese koji se odvijaju pre dalje integracije koja obara "specijalisticke" performanse ali povecava "generalisticke" performanse koje su "kruna" ljudske inteligencije.

Odgovor na temu