Régen még léteztek ilyen crawler-ek, amik végignyalták a linkeket és lementették statikusan az összes oldalt. De a mai interaktív, JS-el, AJAX-al, embedded tartalmakkal, mifenével teletűzdelt világban, pláne authentikált weboldalról - kb. 5 kilences valószínűséggel kizártnak tartom.