Citat:
bukovski: najjednostavnije zabrani mu u robots.txt fajlu
Nisam do sada to radio imam robots.txt ali mi se zabrane odnose na to šta oni ne treba da posete a ne na zabranu određenog robota:
Code:
User-agent: *
Disallow: /images/
Disallow: /cache/
...
Daj napiši mi taj deo koda, zabrinjava me i to što se identifikuje kao "Unknown robot (identified by 'spider') " da sa tim ne zabranim pristup i nekim drugim "Unknwn robotima" ali normalnim.