A user-agent tokennek semmi köze a HTTP User-Agent headerhez ám, ezt ne feledd.
A user-agent token a robots.txt-ben a crawlernek szól. Az, hogy egy crawler milyen user-agent tokenre triggerel, azt a crawler dokumentációja tartalmazza.
Nem alapozhatsz a HTTP User-Agent header értékre, mivel eleve a crawler dönti el, hogy mit vesz figyelembe, és nem te. Az egész robots.txt-t figyelmen kívül hagyhatja.
Ha te ki akarsz zárni egy crawlert, akkor egyetlen esélyed van: felveszed a kapcsolatot a crawler készítőjével, megnézed a dokumentációt, ami le fogja írni, hogy az adott crawler mely user-agent token értékeket veszi figyelembe.
Az tök mindegy, hogy a te webszerveredhez milyen HTTP User-Agent értékkel érkezik. Úgyis az számít, hogy ő mit vesz figyelembe, miután letöltötte és parzolta a robots.txt-t.