http(s) kérések naplózása

Firebug, es nezd meg a tobbi headert & hasonlokat.

man curl
ha le akarsz valamit tölteni, ami már bejelentkezés után az X-dik oldalon van és cookie meg session van hozzá, stb, stb

Én rendszeresen szoktam ehhez hasonlót csinálni (az SSL nélküli web-böngészésem teljes forgalmát naplózni). Az általam választott módszerhez kell egy akármilyen (akárhol futó -- lehet saját gép is) HTTP proxy, illetve a forward3.c.

Tegyük fel, hogy a HTTP proxy a PROXY_HOST:PROXY_PORT-on érhető el (ez lehet saját gép, távoli gép, vagy ssh-n keresztül a proxy-hoz forward-olt kapcsolat local vége). A forward3-at a böngésző és a proxy közé kell betenni. Válasszunk a böngészővel azonos gépen egy szabad portot, mondjuk LOCAL_PORT legyen a neve. Ekkor a beállítások:

• böngészőben HTTP proxy megadása: localhost:LOCAL_PORT
• forward3 elindítása:
  

  mkdir datalog
  cd datalog
  forward3 -l LOCAL_PORT -a localhost -f PROXY_HOST -r PROXY_PORT -d

Böngésszünk, majd vizsgálgassuk a datalog könyvtár tartalmát. Ezen belül 1-1 könyvtár 1-1 TCP kapcsolatnak felel meg (a névképzés nem bonyolult, esetleg az UTC-ben tárolt időbélyeg lehet meglepő). A kapcsolatoknak megfelelő könyvtárakon belül pedig kérdés/válasz formában vannak bontva a file-ok, ahol a file-nevek tartalmazzák a "globális" offset-et a teljes socket-forgalmon belül, illetve a fél-specifikus (küldő/fogadó) offset-et is, valamint a fél típusát (accepted/connected). A file-okra bontás a beszélgetés irányának megfordulása alapján történik. Half-duplex kapcsolatoknál (szinkron request/response) teljesen jól működik; full-duplex-nél (párhuzamosan küld mindkét fél a másiknak) a bontás akármilyenre is sikerülhet.

Itt egy példa a datalog könyvtár alatti szerkezetről.

$ find datalog/
datalog/
datalog/127.0.0.1.5009-20100919005802952488-127.0.0.1.2895
datalog/127.0.0.1.5009-20100919005802952488-127.0.0.1.2895/0000000000-a-0000000000
datalog/127.0.0.1.5009-20100919005802952488-127.0.0.1.2895/0000000594-c-0000000000
datalog/127.0.0.1.5009-20100919005803763488-127.0.0.1.2897
datalog/127.0.0.1.5009-20100919005803763488-127.0.0.1.2897/0000000000-a-0000000000
datalog/127.0.0.1.5009-20100919005803763488-127.0.0.1.2897/0000001030-c-0000000000
datalog/127.0.0.1.5009-20100919005803923488-127.0.0.1.2898
datalog/127.0.0.1.5009-20100919005803923488-127.0.0.1.2898/0000000000-a-0000000000
datalog/127.0.0.1.5009-20100919005803923488-127.0.0.1.2898/0000000442-c-0000000000
datalog/127.0.0.1.5009-20100919005804043488-127.0.0.1.2900
datalog/127.0.0.1.5009-20100919005804043488-127.0.0.1.2900/0000000000-a-0000000000
datalog/127.0.0.1.5009-20100919005804043488-127.0.0.1.2900/0000001048-c-0000000000
datalog/127.0.0.1.5009-20100919005804083488-127.0.0.1.2901
datalog/127.0.0.1.5009-20100919005804083488-127.0.0.1.2901/0000000000-a-0000000000
datalog/127.0.0.1.5009-20100919005804083488-127.0.0.1.2901/0000000499-c-0000000000

A 127.0.0.1.5009 a PROXY_HOST:PROXY_PORT-nak felel meg. Utána timestamp. Utána a forward3-hoz kapcsolódó kliens címe és portja. (Mint látható, most cygwin-en fut.) A file-ok nevében a szerkezet: glob_offs-peer_type-peer_offs.

A legelső file (datalog/127.0.0.1.5009-20100919005802952488-127.0.0.1.2895/0000000000-a-0000000000) tartalma:

GET http://hup.hu/ HTTP/1.1
Host: hup.hu
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.19) Gecko/2010031422 Firefox/3.0.19
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-2,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Proxy-Connection: keep-alive
Cookie: ...
If-Modified-Since: Sun, 19 Sep 2010 00:39:00 GMT
If-None-Match: ...

ff addon -> down them all?!