De még azt kifelejtettem, hogy bizonyos időközönként (nagyon gyakran) az egész webet újra át kell fésülni, mert ugye változhat mindenhol a tartalom. Tehát egy olyan crawler kell, amely képes az egész internetet hetente átnézni, majd feldolgozni a kapott adatbázist.
De a Google a forgalmas, gyakori frissítésű oldalakat nem is hetente, hanem percenként nézi. Itt a HUP-on is ha új tartalom jelenik meg, néhány perc múlva már indexelte a Google. 8-10-es Page Rankes oldalaknál meg néhány másodperc alatt már indexel.