[es] - Da li biti programer? Buducnost profesije

ademare

Član broj: 151475
Poruke: 8111

+1761 Profil

Re: Da li biti programer? Buducnost profesije

^{06.03.2024. u 18:46 - pre 3 meseca}

Evo upravo o temi AI javio se i Voja Antonic ? Ovde na forumu ljudi ga proglasavaju za "bozanstvo" kakvog jos na planeti nije bilo !

Vizionar , naucnik i ko zna sta jos ne !

Prvo je u clanku Baljezgao o nekakvoj novoj Galaksiji , ali neodredjeno , kao kupovace se cipovi kao za onu staru ?

Ko zna na sta misli , mozda i da uvaljuje Budalama neki Emulator " Mini " ? Kao sto postoji Mini NES , Mini Amiga itd . Obicne android igracke koje emuliraju tu starudiju .

Posle se dotakao AI lupa nesto o Elizi od pre 50 godina ? Koja je bila AI isto kao i on sto je I !

" Antović kaže da ga današnja podeljenost oko veštačke inteligencije podseća na vreme kada su se pojavili osmobitni računari pre 40 godina.

„Ljudi su se plašili da će izgubiti poslove, a stvarnost je da su računari otvorili samo nova radna mesta. Isto će biti i sa tim što zovemo veštačka inteligencija. To je samo pomagalo, ništa više. Neki se plaše da će porobiti ljude, osvojiti svet – mnogo su gledali apokaliptičnih filmova. Mislim da će stvoriti nova radna mesta, ali i veće zahteve koji će se tražiti od nas kada budemo radili uz tako pametne računare“, zaključio je srpski inovator. "

https://n1info.rs/magazin/scit...nteligencija-je-samo-pomagalo/

Znaci dve stvari iz citata :

Kao i pre 40 godina doci ce do povecanja zaposlenosti u IT ???

AI nece porobiti Svet ?? Malo ima prostora za sve Upitnike koje bih napisao na ovo Lupanje

Ovog " Vizionara " niko nije obavestio da se 8-bitni kompjuteri Nisu pojavili 1984. vec 10 godina ranije ?

Odgovor na temu

Panta_
Aleksandar Pantić
Kragujevac

Član broj: 214959
Poruke: 790

+163 Profil

Re: Da li biti programer? Buducnost profesije

^{14.03.2024. u 13:40 - pre 3 meseca}

Stigao je DevIn i hoće vaš posao:

Devin ima sopstveni shell, code editor, i browser, ali izgleda da nije čuo za environment variables: https://youtu.be/fjHtjT7GO1c?t=35

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16699
*.cable.dynamic.v4.ziggo.nl.

+7182 Profil

Re: Da li biti programer? Buducnost profesije

^{21.03.2024. u 15:54 - pre 3 meseca}

Stigla nova masina, MacBook Pro sa M3 Max-om i 128 GB RAM-a...

Smaug 72B krcka sa 7.32 tokena u sekundi ;-)

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Prikačeni fajlovi

Image.png - 1543.7k

Odgovor na temu

dejanet
Beograd

Član broj: 19240
Poruke: 1185

+841 Profil

Re: Da li biti programer? Buducnost profesije

^{22.03.2024. u 19:50 - pre 3 meseca}

^ Svaka cast.

Sada vidim da samo opcije od 64GB i 128GB idu sa cpu koji pici na 400GB/s.

Izgleda da Mac pro M3 Max sa opcijom od 96GB (300GB/s) moze lako da bude za*eb na drugu loptu. Imam neki utisak da je za 70B model sporiji od ovog od 64GB rama ?

Odgovor na temu

gslavke
Sarax

Član broj: 349345
Poruke: 10
91.191.63.*

+1 Profil

Re: Da li biti programer? Buducnost profesije

^{23.06.2024. u 14:45 - pre 9 dana i 9h}

Citat:

aleGru:
E ovako,imam stabilan i stalan posao u jednoj drzavnoj firmi.Plata je ok za nase uslove,idem na posao bez stresa,bez opterecenja.
Pre 2 godine sam poceo iz dosade da se bavim programiranjem i posle poslatih par CV-ova,primljen sam u jednu firmu.
Pitanje je sledece: U dilemi sam,da li napustiti nesto sto je ok i gde nema stresa na poslu i otici u programere,gde svakako ima stresa i svega,ili ipak igrati na sigurno?

Živo me zanima kakva je odluka pala. Pretpostavljam da je ostao u EPS.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16699
2a02:a212:92c7:80:3de5:f3ec:..

+7182 Profil

Re: Da li biti programer? Buducnost profesije

^{24.06.2024. u 09:25 - pre 8 dana i 14h}

Citat:

dejanet:
^ Svaka cast.

Sada vidim da samo opcije od 64GB i 128GB idu sa cpu koji pici na 400GB/s.

Izgleda da Mac pro M3 Max sa opcijom od 96GB (300GB/s) moze lako da bude za*eb na drugu loptu. Imam neki utisak da je za 70B model sporiji od ovog od 64GB rama ?

LLM modeli su gotovo komplet memory-starved, tako da svaki gubitak u bandwidth-u direktno placas performansama, nebitno koliko RAM-a imas ako LLM staje u njega.

Ja se iskreno nadam da ce neko konacno da se seti i da izbaci posten 'potrosacki' GPU sa 48-64-96 GB RAM-a, ali na zalost taj film verovatno necemo skoro gledati zato sto GPU proizvodjaci isti cip mogu da prodaju 5-20x skuplje u 'workstation / hpc' varijanti a RAM mu dodje kao odlican nacin da se segmentira trziste :( Kako igricama jos ne treba ni izdaleka toliko RAM-a, ne postoji pritisak da se to desi... 24 GB je bukvalno standard godinama za high-end :((( Plus reletivno novi trend da se renderuje u nizoj rezoluciji a onda upscale-uje na 4K svakako ne pomaze da se napravi pritisak na proizvodjace.

Glasine za RTX 5090 kazu da ce imati 28 - 32 GB RAM-a, u zavisnosti da li ce memorijski bus biti 448-bitni ili 512-bitni, sta god... i 28 i 32 GB je malo za LLM potrebe. Steta, posto bi takva NVIDIA sa 96 ili 128 GB RAM-a razbucala M3 Max jedno 15x ako ne i vise u performansama.

Ima vec mod-ova za neke RTX kartice gde uspevaju da im zamene memorijske module i tako dobiju bar 48 GB RAM-a, koliko se secam liku je uspelo da zavara i BIOS da sve to stvarno prodje... ali to nije posao za svakoga (zahteva znanje lemljenja hi-tech elektronike), plus siguran sam da ce Jensen ovo da onemoguci u sledecim generacijama kartica direktno na BIOS nivou.

Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 2759

+712 Profil

Re: Da li biti programer? Buducnost profesije

^{25.06.2024. u 15:35 - pre 7 dana i 8h}

Da, to za memoriju sam video kod RTX-2080TI, gde su čipovi od 1GB zamenjeni primecima od 2GB, čime je dobijeno 22GB, a slično je urađeno i sa 1080Ti.

Neko značajnije povećanje kod novijih kartica teško da je moguće, zavisi koliko SKU podržava memorije, u slučaju 2080ti je TU102 SKU podržavao do 48GB memorije, pa je povećanje sa 11 na 22GB moguće, ali je pitanje šta sa modelima od 24GB i da li je tu moguće i uz kakvu opremu zameniti čipove, pošto su već u pitanju čipovi od po 2GB.

Kod svih tih kartica memorijski čipovi imaju praktično na raspolaganju 32 bita magistrale, pa desktop verzija RTX-3060 od 12GB u stvari ima magistralu 6x32=192 bita, jer koristi čipove od 2GB, za razliku od nekih RTX kartica sa recimo 8GB, koje koriste konfiguraciju 8x1GB, čime dobijaju magistralu od 256 bita. Takođe, modeli sa 10GB imaju 320 bita magistralu, a neki od 12Gb imaju čak 384 bita (32x12). Već neki modeli sa 16GB imaju "samo" 256 bita (8x2GB) kao što su laptop verzije RTX-3080, dok desktop verzije 3080Ti i 3080 sa 12GB imaju magistralu 384 bita (verzija od 10GB ima magistralu 320=10x32).

Kod A100 i H100 kartica je malo drugačija priča, memorija je "stekovima" (stack) koji imaju i do 16GB, kao kod H100 NVL koja ima 2x94GB i magistralu 6x1024 = 6144 bita, međutim ne postoje podaci kako je postignuto tih 94GB, verovatno da bi se povećao "prinos" tako što nemaju svi čipovi punih 16GB.
Verzije A100 i H100 sa 80GB imaju 10x8GB i isto toliko 512-bitnih kontrolera, pa je magistrala 5120 bita, isto kao kod 40GB modela (10x4GB).
Zanimljiv je model od 94GB (H100 NVL), koji ide u paru od dve kartice, magistrala je 6016 bita (iako mnogi sajtovi navode 5120, nVidia "Product Brief" navodi 6016), što je malo nezgodno za računanje širine magistrale po stack-u memorijskih čipova ako ne znamo koji od čipova je "ošišan" tako da nema 16GB, već nešto manje.
Uglavnom, mrka kapa i za memoriju i za protok, nVidia gura rešenja da se popriličan broj kartica spoji, negde pročitah u jednom od tekstova u kojima sam tražio ove podatke iznad, da se kao pominjala i H100 kartica sa 120GB memorije, ali da to nije zvaničan proizvod niti se pojavljivala u prodaji.
Imajući u vidu cenu samo jedne kartice, pa recimo neku mašinu sa 16 takvih kartica sa po recimo 80GB memorije...

To su sve bukvalno igračkice u poređenju sa Cerebras WSE-3 čipom, predstavljen je u martu ove godine: https://www.cerebras.net/press...-generation-wafer-scale-engine
još jedan članak o ovom nazovi čipu (pošto je u pitanju ceo vafer, samo isečen u kvadrat), kao i superkompjuteru koji će biti baziran na njemu (64 x Cerebras CS-3 AI): https://www.livescience.com/te...than-the-current-record-holder

Blessed are those who can laugh at themselves, for they shall never cease to be amused.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16699
2a02:a212:92c7:80:b0eb:5a26:..

+7182 Profil

Re: Da li biti programer? Buducnost profesije

^{25.06.2024. u 16:37 - pre 7 dana i 7h}

Citat:

Neko značajnije povećanje kod novijih kartica teško da je moguće, zavisi koliko SKU podržava memorije, u slučaju 2080ti je TU102 SKU podržavao do 48GB memorije, pa je povećanje sa 11 na 22GB moguće, ali je pitanje šta sa modelima od 24GB i da li je tu moguće i uz kakvu opremu zameniti čipove, pošto su već u pitanju čipovi od po 2GB.

U tom slucaju je cesto popunjeno samo 1/2 mesta u gaming verzijama kartica, dok su sva mesta rezervisana za nekadasnje Quadro i AXX modele (GDDR modele, ne HBM *100 modele).

Ali tada imas drugi problem, a to je da li ce VBIOS videti svu tu memoriju + osim memorije verovatno mora jos pasivnih komponenti da se nalemi.

Drugi put, koji je Apple izabrao je prosirenje magistrale izmedju APU-a i memorije, M3 Max ima 512-bitnu vezu sa memorijom. Propusna moc i dalje nije uporediva sa jakim NVIDIA GPU-ovima ali je i dalje solidno ispred potrosackih CPU-ova.

I na CPU polju dolazi do promena - MCR memorija npr. za serverske procesore koja nudi 2x vecu propusnu moc - sa dovoljnim brojem kanala se polako prilazi mogucnostima GPU-ova od pre nekoliko godina, sto je dosta veliki pomak za CPU polje.

Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 2759

+712 Profil

Re: Da li biti programer? Buducnost profesije

^{25.06.2024. u 16:44 - pre 7 dana i 7h}

Postoje 2 puta: (1) da samo nekoliko kompanija ima uspešan AI i dominira u toj oblasti, samo što će uticaj biti drastično veći nego bilo šta ranije ili bilo koji raniji monopol (npr. Google Search); (2) da se dalje istražuje u drugim pravcima i da se nađe povoljnije rešenje za AI koje će zahtevati manje energije za treniranje i funkcionisanje.

Za ovu drugu varijantu postoje analgone NN, pa čak i mehaničke (nije baš čista mehanika, ali ipak...): https://www.youtube.com/watch?v=_CwUuyN6NTE

Blessed are those who can laugh at themselves, for they shall never cease to be amused.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16699
2a02:a212:92c7:80:b0eb:5a26:..

+7182 Profil

Re: Da li biti programer? Buducnost profesije

^{25.06.2024. u 16:56 - pre 7 dana i 7h}

Nije to bas tako jednostavno, razlog zasto su GPU-ovi dominantni je zato sto se samo polje rapidno razvija i fiksiranje hardvera vrlo brzo dovodi do zastarevanja.

Plus, za trcanje samih modernih mreza je potrebno jako malo raznolikog hardvera - GPU-ovi vec imaju specijalizovane jedinice ("tensor cores") za taj posao sa malo 'overhead-a', sto ceo rad cini efikasnim i ne mnogo gorim od specijalizovanog hardvera.

U teoriji bi moglo da se dosta ustedi prelaskom na ili analogni ili event-driven (spiking npr.) nacin implementacije ili cak neku arhitekturu koja nije Von Neumann dizajna, ali to onda ulazi u prvi navedeni problem: hardver postaje previse specijalizovan i preti mu opasnost da sam razvoj algoritama dovede do zastarelosti.

Mislim da su zbog ovoga svi projekti specijalizovanog AI hardvera udarali u zid, ukljucujuci cak i Google-ove TPU jedinice i to je doprinelo apsolutnoj dominaciji NVIDIA-e na ovom polju danas.

Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 2759

+712 Profil

Re: Da li biti programer? Buducnost profesije

^{02.07.2024. u 13:58 - pre 10h 14min}

Ta "tenzor jezgra" (tensor cores, neural chips, etc.) se uglavnom baziraju na kolima za brzo množenje matrica, koja su primenjena još u Blečli parku na računaru Colossus, koji je poslužio za razbijanje šifrata Enigme, a radi se o Systolic array. Kuriozitet je da je ceo računar osmislio i konstruisao inženjer koji je radio u pošti, a ovi "naučnici" su odbijali njegove pozive da pogledaju o čemu se radi, pa je on praktično napravio ceo računar i dovezao kamionom u Blečli park. Rešenja primenjena na tom računaru su decenijama držana u tajnosti, sam Colossus je posle WW2 rastavljen i "razbacan" na više lokacija, a o primenjenim rešenjima počelo je da se priča u naučnim i inženjerskim krugovima tek 70-ih. Ko zna šta sada sve postoji, a mi ćemo za to saznati tek za neku deceniju.

Na ovom sa slučajno naleteo u nekom dokumentacu pa posle malo čitao, izgleda da se suštinski nije mnogo promenilo, već je samo usavršavana elektronika i napredovale su mogućnosti paralelnog računanja.

Postoje i neka druga rešenja, koja su se pojavila u zadnjih nekoliko godina pa do 10-20 godina unazad, a jedno od njih je neuronska mreža u kojoj nema klasičnog množenja parametara, već se radi o binarnoj SHIFT opraciji levo ili desno (množenje i deljenje sa 2 ili stepenom broja 2), jedno od rešenja je DeepShift (neki od radova na Arxiv: DeepShift: Towards Multiplication-Less Neural Networks, Bitwise Neural Networks). Takođe, rad u časopisu Sensors (izdavač je jedno vreme smatran "predatorskim", neki njegovi časopisi možda još uvek jesu takvi, tako da rad treba uzeti samo kao početnu tačku za dalje čitanje): [url=mailto:https://www.mdpi.com/1424-8220/23/22/9254]Binary Neural Networks in FPGAs: Architectures, Tool Flows and Hardware Comparisons[/url].
Uopšteno, može se reći da se radi o binarizovanim neuronskim mrežama (Binarized Neural Networks - BNNs), o čemu ima poprilično tekstova i radova na internetu. Od popriličnog broja rešenja i ideja sa raznim nazivima, zapali su mi za oko npr. "SABiNN: Shift-Accumulator Based Binarized Neural Network" i "DeepSAC: Shift Accumulator Based Deep Neural Network".

Blessed are those who can laugh at themselves, for they shall never cease to be amused.

Odgovor na temu