A robots.txt tiszteletben tartása mindigis a crawlertől függött. Nem kell a kijátszásához semmilyen user-agent váltás, egyszerűen ignorálhatja a benne foglaltakat (ahogy akár még a wget is figyelmen kívül hagyja, ha
-e robots=offparaméterrel hívod meg).
Amiért ostobaságnak tartom ezt a fajta megoldást az az, hogy így nem szabályozható, ha valaki a régi msnbot crawlert tiltani akarja, az új bingbotot viszont engedni. Emiatt az összemosás miatt erre nincs lehetőség, mert az msnbot tiltásával akkor a bingbot is tiltva lesz...