Tegyük fel, hogy egy crawler olyan módon szkenneli a weboldalam ami nem tetszik, az access.log-ba valószínűleg nincs benne, hogy ki hozta létre, mit csinálok bedobom az user-agentjét a googleba, hogy hátha lesz egy hit a gyártóhoz akitől aztán megkérdezhetem, milyen user-agenteket blokkoljak a robots.txt-be? (elég életszerűtlen :))