SBB -- los ping, losa konfiguracija mreze, ARP broadcast

Pozdrav svima,

Moguce je da postoji vec slicna tema gde se ljudi zale na los ping na SBB mrezi, ali ja cu ovde pokazati neke interesantne stvari koje ce mozda nekog naterati da konacno nesto preduzme.

Prvo cinjenice:

1. Zivim i radim u Beogradu.
2. Imam kod kuce paket od 8Mbps/384kbps, provider je SBB
3. Imam na poslu paket od 10Mbps/3Mbps, provider je Radijus Vektor
4. Od mrezne opreme kod kuce imam Webstar modem i TP-Link 1043ND ruter, link koriste samo dva racunara, wireless je obezbedjen MAC filtracijom i WPA2/AES kljucem.
5. Od mrezne opreme na poslu imam Docsis 3.0 modem (ne znam tacan brand/model), Cisco 1841 ruter i 3Com Gbps switcheve, link opsluzuje 20-tak korisnika.
6. Nigde nema virusa ni spyware-a.
7. Oba racunara rade pod Windows 7 Professional x64.
8. Da bi eliminisao ruter ili drugi racunar u kucnoj mrezi kao uzrok problema, svi testovi koje sam obavio kod kuce bili su sa racunara koji je direktno preko Ethernet kabla povezan na modem i to cak sa iskljucenim firewall-om.
9. Iz razumljivih razloga, testovi koje sam radio na poslu radjeni su dok su drugi korisnici u firmi koristili internet.

Posto volim da igram online FPS igre, ping (a jos vise jitter, odnosno varijacija pinga) su mi od izuzetnog znacaja.

Dakle da pocnemo.

Ping google.com preko SBB, direktno racunar na modem:


Obratite paznju na visinu pinga i varijacije.

Ping google.com preko Radijus Vektora, racunar je jedan od 20-tak u mrezi, sve iza NAT-a:


Dakle osim sto je u proseku na SBB 3x gori ping nego kod Radijus Vektora (u daljem tekstu RV), ono sto mnogo vise smeta su velike varijacije u trajanju odziva.

Pomislio sam da opterecenje linka igra neku ulogu pa sam resio da uradim test sa SBB web serverom koji se moze smatrati delom njihove lokalne mreze.

Ping www.sbb.rs preko SBB:


Ping www.sbb.rs preko RV:


Hmm... ovo je vec sumnjivo, ping je opet losiji preko SBB, a varijacija je u najmanju ruku katastrofalna.

Sledece sto sam probao je da pingujem default gateway -- prvi "hop" u mrezi iza mog SBB modema.

Ping default gateway-a na SBB (Vracar):


Sad je sve jasno kao dan, ping koji ne bi trebalo da prelazi 8ms seta izmedju 11ms i 40ms. Dakle, definitivno postoji neki problem u SBB mrezi.

Razgovarao sam sa tehnickom podrskom, bili su izuzetno ljubazni i predusretljivi, ispitali smo sve ovo i problem je "evidentiran" i receno mi je da su primetili da se desava i kod drugih korisnika, cak mi je potvrdjeno da je ping los kada oni pinguju moju IP adresu.

Zamolio sam drugara koji stanuje u Velikom Mokrom Lugu (ja sam na Vracaru) i koji je takodje na SBB da uradi isti test kod njega, i potvrdio mi je da ima isto tako lose ping rezultate.

Ping default gateway-a na SBB (Veliki Mokri Lug), isto direktno racunar na modem:


Njegova vremena su za nijansu bolja, ali varijacija i dalje zaudara na kilometar.

Prvi put sam primetio ovaj problem kada mi je ping na Left 4 Dead serverima otisao sa 35ms na 70+ms. To traje vec tri nedelje, i polako postaje nepodnosljivo. Lepo je sto ce 1. marta biti besplatno ubrzanje, ali meni to sa ovakvim pingom i jitter-om ne znaci ama bas nista, a verujem da ima i drugih koji dele moje misljenje.

E sad dolazimo na zanimljiv deo. Naime, dok sam radio testove kod kuce sa racunarom povezanim direktno na modem, primetio sam u task manageru da imam non-stop neki dolazni saobracaj.


S obzirom da je test radjen na praznom sistemu (nista od programa sto bi moglo da konstantno koristi internet) bez virusa i spyware-a nije me mrzelo da instaliram Wireshark i da pogledam kakav je to saobracaj u pitanju.

Kako bi svi videli da ovo nije prazna prica, kacim wireshark capture:
arp_broadcasts.pcap

Ako znate sta je ARP broadcast, sigurno cete reci da je to deo normalnog mreznog saobracaja i sa tim se slazem.

Jedini problem ovde je sto ja taj saobracaj dobijam na javnu IP adresu. Takodje ga dobija i moj drugar iz Velikog Mokrog Luga, a verujem i svi ostali SBB korisnici. Vecina korisnika ovaj saobracaj ne moze da vidi jer su povezali modem na ruter koji ga ne propusta sa WAN na LAN, ali taj saobracaj i dalje postoji i gusi link od modema do providera. U pitanju je oko 3.25KB/sec saobracaja koji ocigledno stize na sve korisnicke IP adrese. Pritom, opterecenje mreze izazvano ovakvim saobracajem ne moze da se racuna kao prost umnozak broja korisnika i kolicine podataka jer najcesce svi switching i routing uredjaji u mrezi rade forwarding ovih paketa na sve portove.

Ako ste sistem administrator koji zna sta radi i ako ste pogledali prilozeni pcap fajl, verujem da je usledio facepalm momenat, jer osim sto ovaj saobracaj nije namenjen korisnicima, i sto ukazuje na to da je mreza lose konfigurisana cim taj uredjaj stalno trazi informacije o jednim te istim adresama, on je takodje i bezbednosni rizik -- arp spoofing je prva stvar koja je meni pala na pamet kada sam ovo otkrio.

Kada sam im skrenuo paznju na ovo preko tehnicke podrske, receno mi je da ce se pozabaviti time od ponedeljka.

Nadam se da sistem administrator SBB cita ovaj forum i da ce reagovati pre nego sto neko iskoristi ovu informaciju da zaustavi ili na drugi nacin kompromituje ceo internet saobracaj na SBB mrezi -- resavanje ovakvih problema se ne ostavlja za ponedeljak.

---

Heh, ajd lagano... nemoj siriti paniku bez potrebe.
Nece se time pozabaviti ni u ponedeljak ni u bilo koji sledeci ponedeljak. Mreza funkcionise tako vec godinama...

SBB kablovska mreza (kao i Radius-vektor mreza) je broadcast mreza i ARP saobracaja je normalno da ima. To da li su javne ili privante adrese je savrseno nebitno. Ako procitas cemu ARP sluzi, videces zbog cega.



Stize na sve adrese u istom broadcast domenu (a broadcast domen je ovde obicno jedan kablovski cvor sa stotinak modema). Ne moze da se racuna kao prost umnozak broja korisnika i kolicine podataka, jer to i nije. Ima ga ukupno isto na bilo kom modemu u istom broadcast domenu, tih nekih 3.25KB/sec... Da nesto smanjuje maksimalni protok, slazem se. Da li moze da ga bude manje, to je vec diskutabilno, ali kao sto rekoh, mreza tako radi od pocetka.
Ruteri ne rade forwarding ovih paketa (opet, pogledaj cemu arp sluzi) i sam si rekao da korisnici iza rutera ne vide ovaj saobracaj, a switch-eva u mrezi nema (bar ne tamo gde tebi moze biti vidljivo).


Na prvi pogled pingovi ka SBB default gateway-u i njihovom sajtu jesu nesto veci nego sto bi trebalo, moguce je da na tvom cvoristu jednostavno ima previse korisnika i da ce se to u nekom momentu resiti razdvajanjem na vise cvorista.

Inace nisi naveo vreme kada si radio testove, merodavno je jedino ako si sbb sajt pingovao sa obe mreze u istom trenutku... Pingovanje google-a je potputno bezvredno, osim sto ne znamo u kom momentu si radio testove, iz aviona se vidi da ni IP adresa servera nije ista (jedan dakle moze biti npr u nemackoj a drugi u uk). Cak i da je adresa servera ista, u google mrezi to ne mora da znaci da se isti fizicki uredjaj javlja u oba slucaja (anycast). A i da je isti fizicki uredjaj koji se javlja, sa dve razlicite mreze (provajdera) paketi mogu i obicnu idu drugim putevima, itd. O ovome je pisano X puta, ali ljudi idalje pinguju google i navode to kao nekakav reper...

---

da, ping ka gateway-u bas varira, hm.

ajde javi i jacine signala sa SBB i RV modema (http://192.168.100.1/).

i to belezi nekoliko puta posle nekoliko restarta modema, jer zavisi i da li ce modem da uhvati "cistije" ili "zagusenije" kanale (odnosno streamove, u smislu downstream-a i upstream-a).

@optix:

Vidi, meni je jasno da broadcast saobracaj normalna stvar.

Ono sto nije normalno je da ti broadcast paketi stizu do mog modema, a evo i razloga:

1. Za normalan rad mog modema nisu potrebni (potreban je samo DHCP saobracaj)

2. Router (ili switch) koji non-stop salje ARP upite za maltene jedne te iste adrese u krug (pogledaj pcap fajl) radi to zato sto nema MAC adrese tih uredjaja u svojoj CAM tabeli sto je obicno znak lose konfiguracije mreze ili nekog napada spolja (MAC flooding i sl).

3. To sto ja primam te pakete znaci i da mogu da odgovorim na njih (fake ARP reply) i da recimo kazem da ja imam neku od adresa (npr. 172.16.94.1) i time preusmerim sav saobracaj namenjen tom gateway-u na svoj racunar. Odatle dalje mogu da ga forwardujem na pravi gateway i da usput sniffujem podatke iz njega ili jednostavno da izmislim nepostojecu adresu i da se to pretvori u DoS napad.

U RV mrezi nisam primetio te broadcast poruke, niti tamo imam problema sa pingom i jitter-om. Ako je topologija ista i kod njih kao sto ti kazes, onda nesto drugo znacajno drugacije (i bolje) radi.

Dalje, kada sam rekao da ruteri i switchevi forwarduju te pakete na sve portove, mislio sam na opremu samog ISP-a, ne na kucne rutere koje imaju obicni korisnici.

Kucni ruteri DROP-uju te pakete cineci ih "nevidljivim" za obicne korisnike ali taj broadcast saobracaj i dalje stize do njihovog WAN porta i gusi link potpuno nepotrebno. Ako je moguce zanemariti uticaj na bandwidth po sistemu "sta je 3.25KB/sec naspram 4Mbit ili vise", onda makar ne bi trebalo zanemariti potencijalni bezbednosni rizik.

Inace, ja Google nisam naveo kao reper brzine odziva, nego sam samo uporedio varijacije u pingu, odnosno jitter na dva razlicita ISP-a. Mogao sam da koristim i Microsoft i Verat i moj licni web server, sta god ti je volja (ako hoces probacu u ponedeljak neki server koji ti hoces). Sustina ostaje ista, a to je da je ping los i do gateway-a, a kamoli dalje.

@technotize:
Modem se kaci jako brzo po restartu, na banderi ispred zgrade je pojacavac i imam odlican signal, a to je potvrdila i tehnicka podrska iz SBB-a -- to je prvo sto su proverili kad sam ih zvao.

@all:
Ja bih jako voleo da ljudi malo cesce pocnu da posecuju pingtest.net umesto speedtest.net -- bandwidth je samo pola price.

Na kraju, kada igram online FPS, nije mi toliko bitno da li imam 35ms ili 70ms -- mnogo mi je vaznije da ako vec imam 70ms to bude 70, 65, 75, 69, 73, ..., a ne 70, 50, 130, 79, 190.

Edit:
Izgleda da cvoriste na kome se nalazimo ima "pretrpan" upstream kanal:



Sta li ce tek biti kad od 1. marta povecaju upload ne smem ni da zamislim.


_{[Ovu poruku je menjao levicki dana 20.02.2011. u 19:28 GMT+1]}

---

Ne znam da li je isti problem kao kod tebe, ali već neko vreme (mislim da je bar nedelju dana) primećujem iste simptome. Sad sam testirao, imam iste takve varijacije u pingu ka sbb.rs, kao i ka Google (50-60ms). Pretpostavio sam da je nešto prolazno i da će se samo od sebe rešiti. Ja sam u Novom Sadu.

eto kao sto rekoh zato resetujes modem da uhvati drugi upstream kanal ili frekvenciju, koji ce mozda biti slobodniji.

ili rucno setujes neki Upstream Channel ID ili Frequency u konfiguraciji modema (barem to deluje da je otkljucano na Motorola modemima na IKOM-u). ali i tu moze da se desi da modem izabere ono sto on misli da je bolji kanal i frekvencija, a ne to sto si ti rucno uneo (AFAIK)

Nazalost, na Webstar modemima ne moze da se menja upstream kanal.

---

sbb ide (link) preko http://www.teliasonera.com/ pa sa 20ms na 50ms ...