• Naslovna
• FAQ
• Pravilnik
• O ES-u
• Tim
• Korisnici
• Statistike

 

• elitesecurity ::
• elitemadzone ::
• EMAIL ::
• RSS ::
• ES Mobile

  Niste ulogovani?  Username :   Password:   

• Registracija
• Zaboravili ste password?
• Flashback ▲▼
• Login problem?

 

Pretraga:

 

Srodne teme 23.12.2004. [Anketa]: profesionalci i "amateri" na .. 18.05.2018. Programski Jezici - Buducnost 31.07.2006. novi game dev. tim 05.02.2007. Potreban PHP programer za stalan posao 05.02.2007. Potreban PhP programer 05.02.2007. Potreban C# programer 23.01.2008. Poteban VB6 programer 13.08.2008. Kako prestati biti programer? 16.11.2009. Povoljno domen .pro za profesije 21.07.2010. Potreban Delphi programer Navigacija Brisanje liste Aktuelne teme u ovom forumu: Da li biti programer? Buducnost profes.. Preduzetnik paušalac, pravdanje rasho.. Imovina preduzetnika Remote rad iz Grcke ili Bugarske Freelanceri: šta je aktuelno? Plata u osiguravajućem društvu DOO za programere SIRS - Sindikat informatičkih radnika.. Proizvodnja carapa Povracaj PDVa za fizicko lice Mach3 Auto Tool Zero Firma u Estoniji - pitanja i iskustva Kako do posla Sistem Administratora Ima li spasa od zla zvanog BITCOIN PDV u Srbiji objasnjenje Izaberite forum: Linux Linux aplikacije Linux desktop okruženja Linux hardware Windows desktop Windows aplikacije Zaštita Office Windows drajveri Office :: Word Office :: Excel Macintosh Mac hardware Mac software Iphone Enterprise Networking SOHO Networking Wireless Windows mreže Linux mreže Wireless :: WiMax Wireless :: Mikrotik Wireless :: Wireless oprema Linux/UNIX serveri i servisi Unix BSD Skript jezici Security Virtualizacija Cloud Computing Services Security :: Kriptografija i enkripcija .NET 3D programiranje Art of Programming Asembler C/C++ programiranje Kernel i OS programiranje Pascal / Delphi / Kylix Java Embedded sistemi Perl PHP Python Visual Basic 6 Veštačka inteligencija Security Coding XML GameDev - Razvoj Igara Ostali programski jezici PHP :: PHP za početnike PHP :: Smarty template engine .NET :: .NET Desktop razvoj .NET :: ASP.NET .NET :: WPF Programiranje C/C++ programiranje :: C/C++ za početnike Baze podataka MySQL Oracle Access MS SQL Firebird/Interbase PostgreSQL Fiksna telefonija VoIP Udruženje korisnika teleko.. GSM - telefoni GSM - upotreba GSM - servisiranje Mreže i novosti Smartphone Mreže i novosti :: Mobilni internet Mreže i novosti :: Telenor - korisnički servis Mreže i novosti :: VIP - korisnički servis Mreže i novosti :: MTS - korisnički servis Smartphone :: Symbian OS Smartphone :: Windows Mobile Smartphone :: Android GSM - telefoni :: Nokia PDA Uređaji GPS Portable Players Anonimnost i privatnost ISP Browseri E-mail Instant Messaging FTP Google Hosting ISP :: Wireless mreže i ISP ISP :: ADSL E-mail :: Anti-spam Instant Messaging :: IRC Hosting :: Domeni Google :: Gmail E-Marketing Web aplikacije Web dizajn i CSS Web dizajn softver Web razvoj Pretraživači i SEO Flash Javascript i AJAX Web dizajn i CSS :: Kritike Grafički dizajn Izdavaštvo 3D modelovanje Rasterska grafika Vektorska grafika 3D modelovanje :: CAD/CAM Matične ploče, procesori .. Video karte i monitori Storage Ostali hardver Overclocking & Modding PC Konfiguracije Laptopovi Vodič za kupovinu - PC har.. Tablet PC Muzička produkcija Audio kompresija Audio softver Video produkcija Video kompresija Video softver Multimedijalni uređaji Digitalni fotoaparati Digitalne kamere Home Theater Digitalni fotoaparati :: Fotografija Digitalni fotoaparati :: Vodič za kupovinu - Digita.. Elektronika Elektrotehnika Elektronika :: TV uređaji Elektronika :: Radio elektronika i tehnika Elektronika :: Mikrokontroleri Elektronika :: Audio-elektronika Auto-elektronika :: Tuning Vodič za učenje Vodič za posao Vodič za emigraciju Fizika Matematika Nauka Sertifikati Informatika Vodič za učenje :: Seminarski radovi Vodič za učenje :: Obrazovne institucije Vodič za emigraciju :: Život u USA Vodič za emigraciju :: Život u Norveškoj Vodič za emigraciju :: Život u Nemačkoj E-Poslovanje E-Kupovina IT pravo i politika razvoja IT događaji IT berza poslova IS i ERP Ekonomija Berza Cryptocoins IT berza poslova :: Arhiva IT berze poslova IT pravo i politika razvoja :: Registar Nacionalnog ID E-Poslovanje :: E-Transakcije E-Poslovanje :: Forex E-Kupovina :: Platne kartice Digitalna Televizija Advocacy Ankete Predlozi i pitanja Vesti Čekaonica Vesti :: ES leto manifestacija MadZone TechZone Poljoprivreda AutoZone MotoZone Svakodnevnica Video igre MadZone :: Zanimljivi linkovi MadZone :: Kultura TechZone :: Ergonomija TechZone :: Grejanje TechZone :: Klimatizacija TechZone :: Bela tehnika AutoZone :: Fiat Panda club Lista poslednjih: 16, 32, 64, 128 poruka.

ademare Član broj: 151475 Poruke: 8391 +1831 Profil Re: Da li biti programer? Buducnost profesije 06.03.2024. u 18:46 - pre 13 meseci Evo upravo o temi AI javio se i Voja Antonic ? Ovde na forumu ljudi ga proglasavaju za "bozanstvo" kakvog jos na planeti nije bilo ! Vizionar , naucnik i ko zna sta jos ne ! Prvo je u clanku Baljezgao o nekakvoj novoj Galaksiji , ali neodredjeno , kao kupovace se cipovi kao za onu staru ? Ko zna na sta misli , mozda i da uvaljuje Budalama neki Emulator " Mini " ? Kao sto postoji Mini NES , Mini Amiga itd . Obicne android igracke koje emuliraju tu starudiju . Posle se dotakao AI lupa nesto o Elizi od pre 50 godina ? Koja je bila AI isto kao i on sto je I ! " Antović kaže da ga današnja podeljenost oko veštačke inteligencije podseća na vreme kada su se pojavili osmobitni računari pre 40 godina. „Ljudi su se plašili da će izgubiti poslove, a stvarnost je da su računari otvorili samo nova radna mesta. Isto će biti i sa tim što zovemo veštačka inteligencija. To je samo pomagalo, ništa više. Neki se plaše da će porobiti ljude, osvojiti svet – mnogo su gledali apokaliptičnih filmova. Mislim da će stvoriti nova radna mesta, ali i veće zahteve koji će se tražiti od nas kada budemo radili uz tako pametne računare“, zaključio je srpski inovator. " https://n1info.rs/magazin/scit...nteligencija-je-samo-pomagalo/ Znaci dve stvari iz citata : Kao i pre 40 godina doci ce do povecanja zaposlenosti u IT ??? AI nece porobiti Svet ?? Malo ima prostora za sve Upitnike koje bih napisao na ovo Lupanje Ovog " Vizionara " niko nije obavestio da se 8-bitni kompjuteri Nisu pojavili 1984. vec 10 godina ranije ? Odgovor na temu

Panta_ Aleksandar Pantić Kragujevac Član broj: 214959 Poruke: 801 +164 Profil Re: Da li biti programer? Buducnost profesije 14.03.2024. u 13:40 - pre 13 meseci Stigao je DevIn i hoće vaš posao: Devin ima sopstveni shell, code editor, i browser, ali izgleda da nije čuo za environment variables: https://youtu.be/fjHtjT7GO1c?t=35 Odgovor na temu

Ivan Dimkovic Administrator Član broj: 13 Poruke: 16752 *.cable.dynamic.v4.ziggo.nl. +7204 Profil Re: Da li biti programer? Buducnost profesije 21.03.2024. u 15:54 - pre 13 meseci Stigla nova masina, MacBook Pro sa M3 Max-om i 128 GB RAM-a... Smaug 72B krcka sa 7.32 tokena u sekundi ;-) DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator: http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25 PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey Prikačeni fajlovi Image.png - 1543.7k Odgovor na temu

dejanet Beograd Član broj: 19240 Poruke: 1207 +856 Profil Re: Da li biti programer? Buducnost profesije 22.03.2024. u 19:50 - pre 13 meseci ^ Svaka cast. Sada vidim da samo opcije od 64GB i 128GB idu sa cpu koji pici na 400GB/s. Izgleda da Mac pro M3 Max sa opcijom od 96GB (300GB/s) moze lako da bude za*eb na drugu loptu. Imam neki utisak da je za 70B model sporiji od ovog od 64GB rama ? Odgovor na temu

gslavke Sarax Član broj: 349345 Poruke: 10 91.191.63.* +1 Profil Re: Da li biti programer? Buducnost profesije 23.06.2024. u 14:45 - pre 10 meseci Citat: aleGru: E ovako,imam stabilan i stalan posao u jednoj drzavnoj firmi.Plata je ok za nase uslove,idem na posao bez stresa,bez opterecenja. Pre 2 godine sam poceo iz dosade da se bavim programiranjem i posle poslatih par CV-ova,primljen sam u jednu firmu. Pitanje je sledece: U dilemi sam,da li napustiti nesto sto je ok i gde nema stresa na poslu i otici u programere,gde svakako ima stresa i svega,ili ipak igrati na sigurno? Živo me zanima kakva je odluka pala. Pretpostavljam da je ostao u EPS. Odgovor na temu

Ivan Dimkovic Administrator Član broj: 13 Poruke: 16752 2a02:a212:92c7:80:3de5:f3ec:.. +7204 Profil Re: Da li biti programer? Buducnost profesije 24.06.2024. u 09:25 - pre 10 meseci Citat: dejanet: ^ Svaka cast. Sada vidim da samo opcije od 64GB i 128GB idu sa cpu koji pici na 400GB/s. Izgleda da Mac pro M3 Max sa opcijom od 96GB (300GB/s) moze lako da bude za*eb na drugu loptu. Imam neki utisak da je za 70B model sporiji od ovog od 64GB rama ? LLM modeli su gotovo komplet memory-starved, tako da svaki gubitak u bandwidth-u direktno placas performansama, nebitno koliko RAM-a imas ako LLM staje u njega. Ja se iskreno nadam da ce neko konacno da se seti i da izbaci posten 'potrosacki' GPU sa 48-64-96 GB RAM-a, ali na zalost taj film verovatno necemo skoro gledati zato sto GPU proizvodjaci isti cip mogu da prodaju 5-20x skuplje u 'workstation / hpc' varijanti a RAM mu dodje kao odlican nacin da se segmentira trziste :( Kako igricama jos ne treba ni izdaleka toliko RAM-a, ne postoji pritisak da se to desi... 24 GB je bukvalno standard godinama za high-end :((( Plus reletivno novi trend da se renderuje u nizoj rezoluciji a onda upscale-uje na 4K svakako ne pomaze da se napravi pritisak na proizvodjace. Glasine za RTX 5090 kazu da ce imati 28 - 32 GB RAM-a, u zavisnosti da li ce memorijski bus biti 448-bitni ili 512-bitni, sta god... i 28 i 32 GB je malo za LLM potrebe. Steta, posto bi takva NVIDIA sa 96 ili 128 GB RAM-a razbucala M3 Max jedno 15x ako ne i vise u performansama. Ima vec mod-ova za neke RTX kartice gde uspevaju da im zamene memorijske module i tako dobiju bar 48 GB RAM-a, koliko se secam liku je uspelo da zavara i BIOS da sve to stvarno prodje... ali to nije posao za svakoga (zahteva znanje lemljenja hi-tech elektronike), plus siguran sam da ce Jensen ovo da onemoguci u sledecim generacijama kartica direktno na BIOS nivou. DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator: http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25 PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey Odgovor na temu

mjanjic Šikagou Član broj: 187539 Poruke: 3008 +775 Profil Re: Da li biti programer? Buducnost profesije 25.06.2024. u 15:35 - pre 10 meseci Da, to za memoriju sam video kod RTX-2080TI, gde su čipovi od 1GB zamenjeni primecima od 2GB, čime je dobijeno 22GB, a slično je urađeno i sa 1080Ti. Neko značajnije povećanje kod novijih kartica teško da je moguće, zavisi koliko SKU podržava memorije, u slučaju 2080ti je TU102 SKU podržavao do 48GB memorije, pa je povećanje sa 11 na 22GB moguće, ali je pitanje šta sa modelima od 24GB i da li je tu moguće i uz kakvu opremu zameniti čipove, pošto su već u pitanju čipovi od po 2GB. Kod svih tih kartica memorijski čipovi imaju praktično na raspolaganju 32 bita magistrale, pa desktop verzija RTX-3060 od 12GB u stvari ima magistralu 6x32=192 bita, jer koristi čipove od 2GB, za razliku od nekih RTX kartica sa recimo 8GB, koje koriste konfiguraciju 8x1GB, čime dobijaju magistralu od 256 bita. Takođe, modeli sa 10GB imaju 320 bita magistralu, a neki od 12Gb imaju čak 384 bita (32x12). Već neki modeli sa 16GB imaju "samo" 256 bita (8x2GB) kao što su laptop verzije RTX-3080, dok desktop verzije 3080Ti i 3080 sa 12GB imaju magistralu 384 bita (verzija od 10GB ima magistralu 320=10x32). Kod A100 i H100 kartica je malo drugačija priča, memorija je "stekovima" (stack) koji imaju i do 16GB, kao kod H100 NVL koja ima 2x94GB i magistralu 6x1024 = 6144 bita, međutim ne postoje podaci kako je postignuto tih 94GB, verovatno da bi se povećao "prinos" tako što nemaju svi čipovi punih 16GB. Verzije A100 i H100 sa 80GB imaju 10x8GB i isto toliko 512-bitnih kontrolera, pa je magistrala 5120 bita, isto kao kod 40GB modela (10x4GB). Zanimljiv je model od 94GB (H100 NVL), koji ide u paru od dve kartice, magistrala je 6016 bita (iako mnogi sajtovi navode 5120, nVidia "Product Brief" navodi 6016), što je malo nezgodno za računanje širine magistrale po stack-u memorijskih čipova ako ne znamo koji od čipova je "ošišan" tako da nema 16GB, već nešto manje. Uglavnom, mrka kapa i za memoriju i za protok, nVidia gura rešenja da se popriličan broj kartica spoji, negde pročitah u jednom od tekstova u kojima sam tražio ove podatke iznad, da se kao pominjala i H100 kartica sa 120GB memorije, ali da to nije zvaničan proizvod niti se pojavljivala u prodaji. Imajući u vidu cenu samo jedne kartice, pa recimo neku mašinu sa 16 takvih kartica sa po recimo 80GB memorije... To su sve bukvalno igračkice u poređenju sa Cerebras WSE-3 čipom, predstavljen je u martu ove godine: https://www.cerebras.net/press...-generation-wafer-scale-engine još jedan članak o ovom nazovi čipu (pošto je u pitanju ceo vafer, samo isečen u kvadrat), kao i superkompjuteru koji će biti baziran na njemu (64 x Cerebras CS-3 AI): https://www.livescience.com/te...than-the-current-record-holder Blessed are those who can laugh at themselves, for they shall never cease to be amused. Odgovor na temu

Ivan Dimkovic Administrator Član broj: 13 Poruke: 16752 2a02:a212:92c7:80:b0eb:5a26:.. +7204 Profil Re: Da li biti programer? Buducnost profesije 25.06.2024. u 16:37 - pre 10 meseci Citat: Neko značajnije povećanje kod novijih kartica teško da je moguće, zavisi koliko SKU podržava memorije, u slučaju 2080ti je TU102 SKU podržavao do 48GB memorije, pa je povećanje sa 11 na 22GB moguće, ali je pitanje šta sa modelima od 24GB i da li je tu moguće i uz kakvu opremu zameniti čipove, pošto su već u pitanju čipovi od po 2GB. U tom slucaju je cesto popunjeno samo 1/2 mesta u gaming verzijama kartica, dok su sva mesta rezervisana za nekadasnje Quadro i AXX modele (GDDR modele, ne HBM *100 modele). Ali tada imas drugi problem, a to je da li ce VBIOS videti svu tu memoriju + osim memorije verovatno mora jos pasivnih komponenti da se nalemi. Drugi put, koji je Apple izabrao je prosirenje magistrale izmedju APU-a i memorije, M3 Max ima 512-bitnu vezu sa memorijom. Propusna moc i dalje nije uporediva sa jakim NVIDIA GPU-ovima ali je i dalje solidno ispred potrosackih CPU-ova. I na CPU polju dolazi do promena - MCR memorija npr. za serverske procesore koja nudi 2x vecu propusnu moc - sa dovoljnim brojem kanala se polako prilazi mogucnostima GPU-ova od pre nekoliko godina, sto je dosta veliki pomak za CPU polje. DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator: http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25 PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey Odgovor na temu

mjanjic Šikagou Član broj: 187539 Poruke: 3008 +775 Profil Re: Da li biti programer? Buducnost profesije 25.06.2024. u 16:44 - pre 10 meseci Postoje 2 puta: (1) da samo nekoliko kompanija ima uspešan AI i dominira u toj oblasti, samo što će uticaj biti drastično veći nego bilo šta ranije ili bilo koji raniji monopol (npr. Google Search); (2) da se dalje istražuje u drugim pravcima i da se nađe povoljnije rešenje za AI koje će zahtevati manje energije za treniranje i funkcionisanje. Za ovu drugu varijantu postoje analgone NN, pa čak i mehaničke (nije baš čista mehanika, ali ipak...): https://www.youtube.com/watch?v=_CwUuyN6NTE Blessed are those who can laugh at themselves, for they shall never cease to be amused. Odgovor na temu

Ivan Dimkovic Administrator Član broj: 13 Poruke: 16752 2a02:a212:92c7:80:b0eb:5a26:.. +7204 Profil Re: Da li biti programer? Buducnost profesije 25.06.2024. u 16:56 - pre 10 meseci Nije to bas tako jednostavno, razlog zasto su GPU-ovi dominantni je zato sto se samo polje rapidno razvija i fiksiranje hardvera vrlo brzo dovodi do zastarevanja. Plus, za trcanje samih modernih mreza je potrebno jako malo raznolikog hardvera - GPU-ovi vec imaju specijalizovane jedinice ("tensor cores") za taj posao sa malo 'overhead-a', sto ceo rad cini efikasnim i ne mnogo gorim od specijalizovanog hardvera. U teoriji bi moglo da se dosta ustedi prelaskom na ili analogni ili event-driven (spiking npr.) nacin implementacije ili cak neku arhitekturu koja nije Von Neumann dizajna, ali to onda ulazi u prvi navedeni problem: hardver postaje previse specijalizovan i preti mu opasnost da sam razvoj algoritama dovede do zastarelosti. Mislim da su zbog ovoga svi projekti specijalizovanog AI hardvera udarali u zid, ukljucujuci cak i Google-ove TPU jedinice i to je doprinelo apsolutnoj dominaciji NVIDIA-e na ovom polju danas. DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator: http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25 PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey Odgovor na temu

mjanjic Šikagou Član broj: 187539 Poruke: 3008 +775 Profil Re: Da li biti programer? Buducnost profesije 02.07.2024. u 13:58 - pre 9 meseci Ta "tenzor jezgra" (tensor cores, neural chips, etc.) se uglavnom baziraju na kolima za brzo množenje matrica, koja su primenjena još u Blečli parku na računaru Colossus, koji je poslužio za razbijanje šifrata Enigme, a radi se o Systolic array. Kuriozitet je da je ceo računar osmislio i konstruisao inženjer koji je radio u pošti, a ovi "naučnici" su odbijali njegove pozive da pogledaju o čemu se radi, pa je on praktično napravio ceo računar i dovezao kamionom u Blečli park. Rešenja primenjena na tom računaru su decenijama držana u tajnosti, sam Colossus je posle WW2 rastavljen i "razbacan" na više lokacija, a o primenjenim rešenjima počelo je da se priča u naučnim i inženjerskim krugovima tek 70-ih. Ko zna šta sada sve postoji, a mi ćemo za to saznati tek za neku deceniju. Na ovom sa slučajno naleteo u nekom dokumentacu pa posle malo čitao, izgleda da se suštinski nije mnogo promenilo, već je samo usavršavana elektronika i napredovale su mogućnosti paralelnog računanja. Postoje i neka druga rešenja, koja su se pojavila u zadnjih nekoliko godina pa do 10-20 godina unazad, a jedno od njih je neuronska mreža u kojoj nema klasičnog množenja parametara, već se radi o binarnoj SHIFT opraciji levo ili desno (množenje i deljenje sa 2 ili stepenom broja 2), jedno od rešenja je DeepShift (neki od radova na Arxiv: DeepShift: Towards Multiplication-Less Neural Networks, Bitwise Neural Networks). Takođe, rad u časopisu Sensors (izdavač je jedno vreme smatran "predatorskim", neki njegovi časopisi možda još uvek jesu takvi, tako da rad treba uzeti samo kao početnu tačku za dalje čitanje): [url=mailto:https://www.mdpi.com/1424-8220/23/22/9254]Binary Neural Networks in FPGAs: Architectures, Tool Flows and Hardware Comparisons[/url]. Uopšteno, može se reći da se radi o binarizovanim neuronskim mrežama (Binarized Neural Networks - BNNs), o čemu ima poprilično tekstova i radova na internetu. Od popriličnog broja rešenja i ideja sa raznim nazivima, zapali su mi za oko npr. "SABiNN: Shift-Accumulator Based Binarized Neural Network" i "DeepSAC: Shift Accumulator Based Deep Neural Network". Blessed are those who can laugh at themselves, for they shall never cease to be amused. Odgovor na temu

Ivan Dimkovic Administrator Član broj: 13 Poruke: 16752 2a02:a212:92c5:5e80:e89f:931.. +7204 Profil Re: Da li biti programer? Buducnost profesije 02.09.2024. u 22:46 - pre 7 meseci Llama 3.1 405B - na kucnoj masini (kucnoj u smislu... nalazi se kod mene na gajbi) - zasto da ne ;-) DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator: http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25 PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey Prikačeni fajlovi llama405b.png - 1256.15k Odgovor na temu

djoka_l Beograd Član broj: 56075 Poruke: 3570 Jabber: djoka_l +1527 Profil Re: Da li biti programer? Buducnost profesije 02.09.2024. u 22:58 - pre 7 meseci Ne kapiram. Startovao si LLM da bi dobio sliku akrecionog diska crne rupe? Odgovor na temu

Ivan Dimkovic Administrator Član broj: 13 Poruke: 16752 2a02:a212:92c5:5e80:2953:a29.. +7204 Profil Re: Da li biti programer? Buducnost profesije 02.09.2024. u 23:09 - pre 7 meseci Ma jok, to mi je samo random palo na pamet kao pitanje - poenta je da je za samo godinu i kusur dana moguce trcati model uporediv sa GPT-4 u kuci… OK nije bas desktop masina ali sledece godine izlazi Apple M4 Max / Ultra za koje se suska da ce podrzavati do 512 GB embedded memorije. Llama 3.1 405B zahteva oko ~210 GB RAM-a za parametre sa 4-bitnom kvantizacijom. DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator: http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25 PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey Odgovor na temu

djoka_l Beograd Član broj: 56075 Poruke: 3570 Jabber: djoka_l +1527 Profil Re: Da li biti programer? Buducnost profesije 03.09.2024. u 06:50 - pre 7 meseci Da li to znači da model radi sa 400 milijardi parametara? Ako je tako, onda je to manje nego ChatGPT 4, ali i dalje veće nego 3.5 Mada za "kućnu" mašinu i nije zanemarljivo. Osim ako ti kuća nije veličine omanje fabrike :) Odgovor na temu

mjanjic Šikagou Član broj: 187539 Poruke: 3008 +775 Profil Re: Da li biti programer? Buducnost profesije 03.09.2024. u 07:07 - pre 7 meseci Nije problem "trčanje" modela, već treniranje. Za recimo ChatGPT 3.5 treniranje na Cloud sistemu baziranom na Cerebras procesoru koštalo bi oko 2.5 miliona dolara, bar tako piše negde na sajtu Cloud provajdera koji sa proizvođačem procesora ima neku saradnju. Blessed are those who can laugh at themselves, for they shall never cease to be amused. Odgovor na temu

Ivan Dimkovic Administrator Član broj: 13 Poruke: 16752 *.cable.dynamic.v4.ziggo.nl. +7204 Profil Re: Da li biti programer? Buducnost profesije 03.09.2024. u 07:36 - pre 7 meseci Da, ovo je bio test 405b modela. On jeste manji od GPT4 po broju parametara (ako je verovati glasinama. posto zvanicno OpenAI nikad nije objavio velicinu modela - prica se o ~1.75 milijardi parametara ali onda ima glasina da je MoE model i sl.), ali po kvalitetu je situacija nesto drugacija: @mjanjic, Niko normalan nece trenirati frontier model od nule, to je posao koji se isplati samo jako malom broju igraca i kosta trocifren broj miliona $ za modele klase GPT-4 ili Llama 3.1 405b. DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator: http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25 PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey Prikačeni fajlovi Screenshot 2024-09-03 at 8.30.13 AM.png - 263.2k Odgovor na temu

Ivan Dimkovic Administrator Član broj: 13 Poruke: 16752 2a02:a212:92c5:5e80:e89f:931.. +7204 Profil Re: Da li biti programer? Buducnost profesije 03.09.2024. u 08:41 - pre 7 meseci Koliko se secam, ta prica o ~1.75B parametara za GPT-4 je dosla od Geohot-a, i mislim da je zapravo tacna cifra MoE 8 x 220B - sto znaci da je Llama 3.1 405B zapravo "gusci" model, svakako za resurse na kojima trci. Ali nije to nista, sa dolaskom nove generacije hardvera (B200 / Blackwell Ultra) i multimodalnih modela se moze ocekivati da ce broj parametara da eskalira, sto znaci da ce svaki trening od nule zahtevati energiju omanjeg gradica N meseci. DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator: http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25 PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey Odgovor na temu

djoka_l Beograd Član broj: 56075 Poruke: 3570 Jabber: djoka_l +1527 Profil Re: Da li biti programer? Buducnost profesije 03.09.2024. u 09:02 - pre 7 meseci Samo mala ispravka, 3.5 ima 157 MILIJARDI parametara, 4 ima 1.5 BILIONA (po srpskom) ili 1.5 TRILIONA ako ćemo po engelskom. Drugim rečima 1.5e12 Odgovor na temu

Ivan Dimkovic Administrator Član broj: 13 Poruke: 16752 *.cable.dynamic.v4.ziggo.nl. +7204 Profil Re: Da li biti programer? Buducnost profesije 03.09.2024. u 13:20 - pre 7 meseci Haha da, thx @djoka_l - 1.5T, najbolje da koristimo E notaciju da ne bude zabune, dakle 1.5e12 Sto se Llama3.1 405B tice, llama.cpp projekat bi uskoro trebao da merge-uje PR koji daje AMX podrsku za Intel serverske / WS procesore (Sapphire / Emerald / Granite Rapids) i, po autoru, ovo daje oko ~2x ubrzanja u odnosu na AVX-512 verzije. To, plus MCR DDR5 memorija (8800 MT/s u prvoj generaciji, 12800 MT/s u sledecoj i planirano sve do 17600 MT/s) i jos veci broj jezgara ce omoguciti da se i ovakvi modeli trce lokalno (druga opcija ce biti buduci M4 CPU od Apple-a) - posto je jedina druga alternativa GPU server. Llama 3.1 405B zahteva >800 GB RAM-a u 16-bitnoj verziji, >400 GB u 8-bitnoj i >200 GB u 4-bitnoj - sve ispod toga znacajno degradira kvalitet, sto znaci da trenutno nije moguce trcati model na desktop masinama / GPU-ovima (ne racunam lude rig-ove sa 10 3090/4090 RTX kartica). DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator: http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25 PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey Odgovor na temu