Sziasztok!
Kernek ismet egy kis segitseget, mivel a googlebot bas*tatja a rendszerem eleg rendesen. Tobb gigas apache access fajlok keletkeznek mivel ez a szar szkennel (http://www.google.com/bot.html)
Tudtok valami trukkot, hogy apache-ban hogy tudom kezelni ezt a hibat?
koszonom
- 4442 megtekintés
Hozzászólások
addig google-zok, mert mar talaltam valami robot.txt-s huleseget....
- A hozzászóláshoz be kell jelentkezni
A robots.txt nem hülyeség. Ősidők óta az egyik leggyorsabb megoldás az ilyen problémákra.
A gond akkor kezdődik, ha a keresőrobot nem foglalkozik ezen fájl tartalmával és önkényesen minden beszippant.
Sok leírás közül 1. http://webni.innen.hu/RobotsTxt
- A hozzászóláshoz be kell jelentkezni
ez alapjan csinaltam meg, azaz a gyorkerbe elhejeztem ezt a fajlt es egy valami.php tiltast, remelem nem lesz vele gubanc
- A hozzászóláshoz be kell jelentkezni
A robot.txt fog segíteni, de html headerbe is bele lehet tenni ilyen információkat
_____________________
OWASP AntiSamy Javaban
- A hozzászóláshoz be kell jelentkezni
Tuti, hogy ki akarod tiltani? Ha nem térképezi fel a honlapodat, akkor sehol se leszel a találati listában. Más. Biztos, hogy a gogglebot generálja a több gigás logot?
- A hozzászóláshoz be kell jelentkezni
+ vegye ki a debug logot :)
- A hozzászóláshoz be kell jelentkezni
Például :)
- A hozzászóláshoz be kell jelentkezni
jaja, mivel ez van csak a logban
- A hozzászóláshoz be kell jelentkezni
igazabol csak most fogom fel ezeket a keresosdi dolgokat, amugy csak egy valami.php fajlt tiltok ki, es egy foldert, mast nem
- A hozzászóláshoz be kell jelentkezni
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Ezek jonnek meg mindig, otletek?
- A hozzászóláshoz be kell jelentkezni
csináld meg a rendszer úgy hogy a rajta lévő weblapok tartalmát meg tudja jeleniteni.
btw php-ban is tudod korlátozni.
- A hozzászóláshoz be kell jelentkezni
valami.php HTTP/1.1" 200 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
ezt a php-t nyomja folyamatossan, ezt hogy tudom megcsinalni, hogy tudom kitiltani??, a robot.txt megcsinaltam, de semmi....
- A hozzászóláshoz be kell jelentkezni
- robots.txt néven keresi, robot.txt néven nem találja.
- webmaster toolsban elküldted? A rendszer felolvasta hibajelzés nélkül?
- A hozzászóláshoz be kell jelentkezni
robots.txt neven van letrehozva es nem robot.txt-kent
- A hozzászóláshoz be kell jelentkezni
if ( preg_match('#google#', $_SERVER['HTTP_USER_AGENT']) ) exit('google bot nem.');
- A hozzászóláshoz be kell jelentkezni
Ha a gyilkolja dolgot úgy érted, hogy túlzott mértékben terheli, akkor tegyél be robots.txt végére egy "Crawl-delay: 5" sort(idézőjelek nélkül). A szám másodpercben megadja, hogy mennyi időnként küldhet új kérést.
- A hozzászóláshoz be kell jelentkezni
A googlebot nem szokta gyilkolni a rendszert... Én megnézném, hogy milyen IP-ről jön, ugyanis bárki behazudhatja ezt.
--
Discover It - Have a lot of fun!
- A hozzászóláshoz be kell jelentkezni
ok nem gyilkolja , viszont a diskeket telefossa logokkal az apache
- A hozzászóláshoz be kell jelentkezni
akkor hasznald a setenvif-t, vagy keress fel egy rendszergazdát aki ért hozzá.
- A hozzászóláshoz be kell jelentkezni
annnnnyira szeretem az ilyen anti szocialis embereket, minat amilyen te vagy..............
szerinted, ha lenne valaki akit meg tudnek kerdezni ez ugyeben, akkor mar nem tettem volna meg................
- A hozzászóláshoz be kell jelentkezni
mostanában már másodjára mondják rám, majd átgondolom!
- A hozzászóláshoz be kell jelentkezni
:D
- A hozzászóláshoz be kell jelentkezni
+1
Nézd meg az IP címet első körben, mert vannak ám hamisak is! Ha mégis valóban a Google-től jön, akkor majd tovább gondolkodunk.
- A hozzászóláshoz be kell jelentkezni
Beregelsz a webmaster toolsba és megmondod neki, hogy lassítson.
- A hozzászóláshoz be kell jelentkezni
Egyrészt robots.txt irányában indulj el, másrészt nekünk volt még olyan problémánk, hogy baromira összetett kereséseket indított (15-20 paraméterrel), ami miatt a xapian iszonyatosan belassult, cpu load egekben... Ugyanez xapian nélkül tuti db halált okozott volna. Rewrite rule és user agent alapján request ellenőrzése
--
Kis problémából egy kis munkával nagy problémát lehet gyártani. Ha valami müxik ne b***tasd :)
Uriember az, aki nem beszél a Windows-ról, pedig tudna...
- A hozzászóláshoz be kell jelentkezni
meg lett oldva a problema, a robots.txt lett a befuto (es azon beluli dolgok felvetele),
koszonom mindenkinek a segitseget
- A hozzászóláshoz be kell jelentkezni