[es] - Pomoc oko organizacije

Mister_rap
SE at Viacom

Član broj: 8822
Poruke: 2540
95.155.2.*

Jabber: mister_rap@jabber.com

+21 Profil

^{09.08.2009. u 15:47 - pre 191 meseci}

Pozdrav,

Naime radim na jednoj aplikaciji koja predstavlja specificnu arhivu slika i video sadrzaja.
Imam jedan konceptualni problem pa rekoh da pitam...

Koristim InnoDB pa me zanima (izmedju ostalog) da li bi trebao da se prebacim na MyISAM zbog preformansi ?

Dijargam koji vidite ispod sluzi samo za potrebe ove teme (ima inace nekih 30tak tabela a i ove dve imaju mnogo vise kolona) i mislim da mi prikazani dizajn ne odgovara a evo i zbog cega:

Kada pustim skript u tabelu pictures ce biti dodato oko 130.000 zapisa i taj broj svakim danom bi trebalo da se uvecava za nekih 100-300 redova.
Takodje je (mozda) bitno naglasiti da odredjena osoba ima svega 2-3 slike ali odredjene imaju 500+

Ono sto mene brine jeste kako ce ta tabela pictures da se ponasa za tolikim brojem redova ?
Ja sam razmisljao ali mi to deluje prilicno "glupo" da recimo limitiram broj zapisa u tabeli na nekih 100k i da imam identicne tabele samo sa drugim imenom (pictures_1, pictures_2) u koje bi se upisivalo sve dok se ne dodje to te neke limit cifre i tako redom.

Zanima me da li postoji neko prakticnije resenje pre svega i koji problemi mogu da mi se jave u buducnosti ako budem koristio neko od ova dva resenja koja sam gore izneo?

Prikačeni fajlovi

temp.png - 24.54k

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15953
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs

+2378 Profil

Re: Pomoc oko organizacije

^{09.08.2009. u 18:15 - pre 191 meseci}

Citat:

Mister_rap:
Koristim InnoDB pa me zanima (izmedju ostalog) da li bi trebao da se prebacim na MyISAM zbog preformansi ?

samo ako su ti performanse prioritet ... myisam nije crash safe - sto ce reci, crash servera moze da dovede do korupcije tabele / gubitka poslednjih X transakcija, takodje myisam nije transactional tabela sto znaci da nikako ne mozes da budes siguran da imas konzistentnost podataka .. etc etc .. dakle ako ti je performansa bitnija od ove dve stavke - onda da, mozes da predjes na myisam ... ako na primer imas read only tabelu i jos ako je staticne sirine, myisam ti je super .. ali ako ces i da pises po toj tabeli, ne zaboravi da myisam ima samo table level locking....

Citat:

Dijargam koji vidite ispod sluzi samo za potrebe ove teme (ima inace nekih 30tak tabela a i ove dve imaju mnogo vise kolona) i mislim da mi prikazani dizajn ne odgovara a evo i zbog cega:

ne kapiram sta znaci "prikazani dizajn ne odgovara"

Citat:

Kada pustim skript u tabelu pictures ce biti dodato oko 130.000 zapisa i taj broj svakim danom bi trebalo da se uvecava za nekih 100-300 redova.
Takodje je (mozda) bitno naglasiti da odredjena osoba ima svega 2-3 slike ali odredjene imaju 500+

Ono sto mene brine jeste kako ce ta tabela pictures da se ponasa za tolikim brojem redova ?
Ja sam razmisljao ali mi to deluje prilicno "glupo" da recimo limitiram broj zapisa u tabeli na nekih 100k i da imam identicne tabele samo sa drugim imenom (pictures_1, pictures_2) u koje bi se upisivalo sve dok se ne dodje to te neke limit cifre i tako redom.

Zanima me da li postoji neko prakticnije resenje pre svega i koji problemi mogu da mi se jave u buducnosti ako budem koristio neko od ova dva resenja koja sam gore izneo?

nemas nikakav problem sa ovim konceptom ovako ... mnogo slogova nije problem za mysql (kao ni za vecinu modernih baza) .. razbijanje po tabelama nije dobro resenje... u slucaju da je tabela sa slikama "prevelika" range partitioning po person_id bi bio cool varijanta ali to je nesto sto uvek mozes kasnije da dodas (kada partitioning bude manje bagovit).

ako hoces da imas bolje performanse - nemoj da slike cuvas u blobu u pictures tabeli ... ako bas hoces da cuvas slike u bazi - napravi 1:1 tabelu sa pictures koja ima samo id i blob (ili blobove ako cuvas pregenerisane thumbnails) sa slikom ... dakle nemoj da turas blob direktno u pictures tabelu.

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu

Mister_rap
SE at Viacom

Član broj: 8822
Poruke: 2540
95.155.2.*

Jabber: mister_rap@jabber.com

+21 Profil

Re: Pomoc oko organizacije

^{09.08.2009. u 19:38 - pre 191 meseci}

Pozdrav,

Bogdane hvala na odgovoru, ovaj termin range partitioning mi je nov ali kapiram sta ovo zapravo radi :D

Slike naravno ne cuvam u bazi vec u toj pictures tabeli pamtim samo njihovo ime a fajlovi se skladise na posebnim fajl serverima.

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15953
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs

+2378 Profil

Re: Pomoc oko organizacije

^{09.08.2009. u 20:09 - pre 191 meseci}

Citat:

Mister_rap:

Bogdane hvala na odgovoru, ovaj termin range partitioning mi je nov ali kapiram sta ovo zapravo radi :D

http://dev.mysql.com/doc/refman/5.1/en/partitioning.html
http://dev.mysql.com/tech-reso.../performance-partitioning.html

pogledaj ta dva linka ...

problem je sto je partitioning jos uvek nedovoljno istestiran ... nema dovoljno production instalacija i ima jos uvek par velikih poznatih bagova koji nisu popravljeni

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu

tarla

Član broj: 15527
Poruke: 1648

+42 Profil

Re: Pomoc oko organizacije

^{10.08.2009. u 02:39 - pre 191 meseci}

Imam nekoliko tabela sa po 1 000 000 i više unosa, veličine 300 i više MB po tabeli i rade kulturno (nekoliko upita po sec). Tabele su bile MyISAM ali su prebačene na InnoDB upravo zbog "row level" zaključavanja

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15953
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs

+2378 Profil

Re: Pomoc oko organizacije

^{10.08.2009. u 04:51 - pre 191 meseci}

dokle god tabeli pristupas preko primarnog kljuca (pk lookup) - miran si .... i innodb i myisam su tu vrlo brzi ...

da bi tabela ovog tipa bila "brza" person_id koji je u stvari kljuc po kom ces da radis pretragu, mora da bude deo primarnog kljuca.... no, cak i bez toga, kao obican ordered key to radi prilicno brzo.. tu je sada razlika u tome koliko je bitna brzina inserta u odnosu da brzinu select-a (select ce biti brzi ako je person_id deo PK ali ce zato insert biti sporiji i obrnuto

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu

Mister_rap
SE at Viacom

Član broj: 8822
Poruke: 2540
*.crnagora.net.

Jabber: mister_rap@jabber.com

+21 Profil

Re: Pomoc oko organizacije

^{14.08.2009. u 16:17 - pre 191 meseci}

Pozdrav,

Evo nakon sto sam odradio taj prvi insert, malo sam testirao i mogu reci da sam jako zadovoljan rezultatima.
Sama tabela nije nesto "teska" - 21 Megabajt (129.863 redova) i sve radi apsolutno zadovoljavajuce...

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15953
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs

+2378 Profil

Re: Pomoc oko organizacije

^{14.08.2009. u 16:32 - pre 191 meseci}

Citat:

Evo nakon sto sam odradio taj prvi insert, malo sam testirao i mogu reci da sam jako zadovoljan rezultatima.

kakvog inserta? da li si merio razliku u brzini izmedju person_id u pk i van pk-a.?

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu