( dotnetlinux | 2021. 10. 20., sze – 12:30 )

A cikk a keresőmotorról (browser) szólt, nem a céget által háttérben futtatott folyamatos feltérképezésről.

De az oldal látogatottságától függ a kérdésedre adott válasz: a google scanneli a teljes oldalt 1x, majd hetente-kéthetente végigmegy ha változott valami. Aztán a változások alapján visszatér néha. Ha az oldalad napi 1000x letöltik, ahhoz képest kevés a bot tevékenység.

De az adatforgalom nagy része a stream (yt, twitch, spotify, torrent).