Oldalak letöltése hogyan?

Web, mail, IRC, IM, hálózatok

Helló!

Van egy oldal ahova van hozzáférési jogom, viszont miután olyan helyen kellene használnom ahol nincs internet, gondoltam beizzítom a wget-et és pár perc alatt offline módban nézhető lesz a tartalom. Csakhogy nem.
(Az URL-t és a cookiet megváltoztattam, de nyilván a struktúra azonos maradt.)

Amikor firefoxban nézem a következő adatforgalom megy (wiresharkkal nézem):
GET /t/5767 HTTP/1.1

Host: www.X.net

User-Agent: Mozilla/5.0 (Ubuntu; X11; Linux i686; rv:8.0) Gecko/20100101 Firefox/8.0

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

Accept-Language: en-us,en;q=0.5

Accept-Encoding: gzip, deflate

Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7

Connection: keep-alive

Referer: http://www.X.net/

Cookie: cookietest=true; __utma=1.254751167.132360098.1324487143.1324498352.6; __utmz=1.132360098.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); referer_checked=true; vip_code_2=TT; PHPSESSID=a3ed7s8978tjduboq7dat3u642; __utmb=1.6.10.1324498352; __utmc=1; authdata=8f46c0a1e5d761dcc9c895cea592a73f

és már csorog is a hasznos adat.

Amikor viszont wget-el próbálom letölteni ( wget --load-cookies ~/cookie.txt --user-agent="Mozilla/5.0 (Ubuntu; X11; Linux i686; rv:8.0) Gecko/20100101 Firefox/8.0" http://www.X.net/t/5767 ) akkor egy belépésre felszólító üzenet kerül lementésre.
A Wireshark a következőt írja ki:

GET /t/5767 HTTP/1.0

User-Agent: Mozilla/5.0 (Ubuntu; X11; Linux i686; rv:8.0) Gecko/20100101 Firefox/8.0

Accept: */*

Host: www.X.net
Connection: Keep-Alive

Cookie: PHPSESSID=67tugthkj3cdr8mb183893r1i5; __utma=1.254751167.132360098.1324487143.1324498352.6; __utmz=1.132360098.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); authdata=8f46c0a1e5d761dcc9c895cea592a73f; cookietest=true; referer_checked=true; vip_code_2=TT

Referer-t is hiába állítok be, az sem segít.
Van valami ötletetek, hogy mi zavarhat be?
Milyen olyan komponense lehet a kommunikációnak ami működik FF-el de nem wget-tel és letilthatja a hozzáférést? :O

Köszönöm!

  • 1114 megtekintés

( lopci v | 2011. 12. 21., sze – 21:54 )

wget-tel lépsz be a felületre és
wget --keep-session-cookies ...
így működik?

Gondolom van valami név/jelszó páros, egy form ahogy belépsz. Ha a cookie-t nem exportálod, hanem a wget hozza létre magának, az egyel kevesebb hibalehetőség.
Ha nincs belépés, akkor nincs ötletem, nekem a session cookie-k miatt volt gondom, de a fenti kapcsoló megoldotta.

szerk.: lehet hülyeségnek hangzik, de a link "http://www.x.net?a=b" formátumú? tehát van "macskaköröm" ?

( szabi2k v | 2011. 12. 21., sze – 22:53 )

Latom a PHPSESSID valtozik a ket lekeres kozott.
Miutan beleptel es kiprobaltad Firefoxban, azutan exportaltad a cookie-kat, nem? Veletlenul nem toltottel tobb mint mondjuk 30 percet a wget parameterek nezegetesevel, vagy nem jelentkeztel be ujra Fiirefox-al?

Probald meg ugy, hogy tolts le egy oldalt Firefox-ban, utanna exportald a cookiekat, s utanna probalkozz ujra wget-tel.

Ha igy se mukodik, akkor lehet, ezek valtozasa a problema:

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5
Accept-Encoding: gzip, deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7

meg ez: HTTP/1.1 (nem 1.0)

Attol fugg, hogy mennyire akart biztosra menni aki a scriptet irta, hogy a ket lekeres ugyanarrol a browserrol jon...

szerk: vegso esetben ott a telnet, kuld el ugyanazt a lekerest amit a firefox, s akkor mar vegkepp nem lehet gond. Csak a GET sorban a fileneveket kell valtoztatni, ha tobb file-t akarsz leszedni