rosszul tudom, hogy a /robots.txt-ben eddig is be lehetett allitani hogy mely tartamakat gyujthetik be a keresok?