Sziasztok,
az lenne a kérdésem, hogy milyen technikák léteznek arra vonatkozóan, hogy a keresőrobotok -elsősorban Googlebot- ne tudjon egyszerre 1-nél több kérést indítani a szerver felé?
Tegnap szerény képességű VPS-em (12.5 Gb disk, 192 Mb RAM 2*0.2Ghz CPU) majdnem elhasalt attól, hogy a Guglibot lekéréseinek eredményeként egyszerre kb. 10 példányban futott a php-cgi legalább 2 órán át. Ezt szeretném korlátozni, de úgy, hogy ettől a korlátozástól indexelhetőek legyenek az oldalak, csak kevesebb erőforrásigénnyel.
Lighttpd 1.4.18 szolgálja ki a kéréseket.
Valami iptables dologra gondoltam, csak sajnos nem tudom rávenni a guglibotot, hogy akkor tesztelje ezeket a beállításokat, amikor én szeretném. :)
Van valakinek erre vonatkozóan már valami konkrét megoldása, vagy ötlete?
- 1180 megtekintés
Hozzászólások
Szerintem nyugodtan tiltsd le iptables-ben a google irányú kéréseket, vagy az egész IP tartományból, ahol a google lakozik. Kit érdekel, hogy mennyire indexeli az oldalad?
Szervered (őszintén) szerény képességű, tehát ha sokan nekiesnének, akkor lehet, hogy elhasalna (FIX_ME). Le a kalappal előtted, hogy összeraktad.! Sokan pedig általában úgy fognak neki esni, hogy a google találatai közt szerepel.
De ez csak az én elméletem...
- A hozzászóláshoz be kell jelentkezni
erre van kulturaltabb megoldas:
- robots.txt
- html meta tagban: noindex nofollow
- A hozzászóláshoz be kell jelentkezni
Ezzel tisztában vagyok. Az, hogy VPS-t használok, azt jelenti, hogy nem volt még anyagilag / időben érkezésem ahhoz, hogy beruházzak valami komolyabbra. Fogok. :)
/*no comment*/
- A hozzászóláshoz be kell jelentkezni
Itt néz körül:
http://www.google.com/support/webmasters/bin/answer.py?answer=48620&ctx…
Ez is érdekes lehet:
http://drupal.org/node/14177
- A hozzászóláshoz be kell jelentkezni
Hmmm....
Na, kb erre volt szükségem :)
plusz megspékelve a lighttpd.conf -ot a következővel:
...........
"mod_evasive"
);
evasive.max-conns-per-ip = 10
Köszönöm! :)
/*no comment*/
- A hozzászóláshoz be kell jelentkezni
Ez marha jó! :)
Nekem legalábbis új! :)
Üdv,
Dw.
"Jegyezze fel a vádhoz - utasította Metcalf őrnagy a tizedest, aki tudott gyorsírni. - Tiszteletlenül beszélt a feljebbvalójával, amikor nem pofázott közbe."
- A hozzászóláshoz be kell jelentkezni