Wget robot nélkül

 ( bigacsiga | 2005. augusztus 21., vasárnap - 16:51 )

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

Üdv!

wget-el kapcsolatos kérdésem lenne, de nem akarok ezért topicot nyitni, így ide írom:

wget -N http://akarmi.com/file

Ez ugyebár csak akkor tölti le a file-t, ha a helyihez képest újabb. Ez működik, rendesen, csakhogy mindkét esetben 0-s kóddal tér vissza, az scriptnek viszont, amiben ez van, tudnia kellene, hogy mit csinált a wget, letöltött, vagy nem.. Van erre valami megoldás?

Petya

és ha megnézed a módosítás dátumát a fájlon?!

Hi!

Le szeretnék tölteni egy oldalt az internetről úgy teljes egészében. Egyetlen hiba a dologban, hogy a rendszergazda nem akarja ezt. Alapesetben ezt a wget -r parancsal oldanám meg ám a szerveren van egy robots.txt vagy mi amia wget rekurzív utasítását fellülbírálja és szépen átdob engem egy másik honlapra, töltsed le azt címszóval. Nem lehetne valahogy, valamivel kiiktatni a robot.txt-t? Vagy esetleg van olyan wget klón amiben ez megoldható?

Köszi a válaszokat.

[quote:7fd2e5c681="bigacsiga"]Hi!

Le szeretnék tölteni egy oldalt az internetről úgy teljes egészében. Egyetlen hiba a dologban, hogy a rendszergazda nem akarja ezt. Alapesetben ezt a wget -r parancsal oldanám meg ám a szerveren van egy robots.txt vagy mi amia wget rekurzív utasítását fellülbírálja és szépen átdob engem egy másik honlapra, töltsed le azt címszóval. Nem lehetne valahogy, valamivel kiiktatni a robot.txt-t? Vagy esetleg van olyan wget klón amiben ez megoldható?

Köszi a válaszokat.[/quote:7fd2e5c681]

Probaldd ki a curl-t. Hatha az megy.

[quote:fcb2ccdda2="bigacsiga"]Hi!

Le szeretnék tölteni egy oldalt az internetről úgy teljes egészében. Egyetlen hiba a dologban, hogy a rendszergazda nem akarja ezt. Alapesetben ezt a wget -r parancsal oldanám meg ám a szerveren van egy robots.txt vagy mi amia wget rekurzív utasítását fellülbírálja és szépen átdob engem egy másik honlapra, töltsed le azt címszóval.[/quote:fcb2ccdda2]Ez erdekes... hmm.... biztos, hogy valami robots.txt van a dologban???? A robots.txt ugyanis nem alkalmas (tudtommal) arra, hogy barmit barhova atiranyitson.... Legfoljebb nem "engedi", hogy letoltson valamit a robot... De ha telleg erre gyanakodsz legyszi past-old mar ide az a robots.txt-t, had nezzuk meg alaposabban[quote:fcb2ccdda2="bigacsiga"] Nem lehetne valahogy, valamivel kiiktatni a robot.txt-t? Vagy esetleg van olyan wget klón amiben ez megoldható?

Köszi a válaszokat.[/quote:fcb2ccdda2]

Zsiraf

izé nagyon ciki de jól letölti így is... Szóval akkor valszeg a robot.txt nem is ezt mondja. jaj de kínos. Esetleg ha erre néz egy moderátor törölné a topicot mert tulajdonképpen egy nemlétező problémára találtunk megoldást :)

$HOME/.wgetrc-be kell rakni ezt:
robots = off