wget, spiderek--- és egy honlap képgalériája

Segédprogramok

Sziasztok.

Adott egy honlap, melyen sok kép van, de egy DEMO kedvéért egy másik helyen ugyanezen képekkel akartam megjelentetni valamit. Sikerült. A képek halandók elöl "védve" vannak az egy gombos egeres mentésektől, így költöttem egy ronda scriptet.

#!/bin/bash

webcim="http://weboldal.hu"
utvonal=$1 # /utvonal/-ként megadni!!!
webcimutvonal=$webcim$utvonal
echo $webcimutvonal | sed 's/\//\\\//g' > /tmp/sedwebcimutvonal
sedwebcimutvonal=`cat /tmp/sedwebcimutvonal`

wget -d $webcimutvonal
cat ./index.html |\
grep '[jJ][pP][gG]' |\
awk 'BEGIN {FS=" "}{print "wget -d CUCC"$3}'|\
sed 's/<\/a><\/li>//g' |\
sed "s/CUCC/$sedwebcimutvonal/g">biokiller.sh
sh biokiller.sh
detox *
lower.sh
rm -f biokiller.sh
rm -f index.html
rm -f /tmp/sedwebcimutvonal
exit 0

Ronda, az igaz, de a kérdésem nem ezzel kapcsolatos. Ezt már megoldottam.

A valódi kérdés ennek kapcsán merült fel.

Ha egy weboldal képgalériájának aktuális könyvtára nem tartalmaz index.html file-t, a wget tényleg MINDEN esetben képes generálni egyet, hogy aztán még egy macska is letöltögesse onnan a képeket?

Hogyan lehet megakadályozni valamivel, hogy egy honlap aktuális könyvtárát se a spiderek, wgetek, egyebek ne tudják indexelés vagy más segédlettel töltögetni, csak a weboldal rendeltetésszerű használatával?

  • 5594 megtekintés

( Frantique v | 2012. 12. 11., k – 13:53 )

Kismillió módon, a legegyszerűbb, ha teszel a képek könyvtárába egy üres index.html fájlt, esetleg tiltod a könyvtárlistázást, még vadabb módon a szerver oldali szkript olvassa a fájlt és jeleníti meg a tartalmát, stb.
--
Coding for fun. ;)

( Zsugabubus | 2012. 12. 11., k – 15:07 )

Azt nem a wget generálja, hanem a webszerver.
Apacheon pl. az "Options +Indexes"

( EdgarPE | 2012. 12. 11., k – 19:23 )

Így van, azt az Apache generálja. Viszont ha egy spider le akarja szedni a képet, le fogja.

Az más kérdés, hogy ha nem pont téged céloz a spider, akkor azért meg lehet akadályozni. Én azt csinálnám, hogy a AJAX-szal tölteném be a kép adatokat (url, név, kiskép url, stb...) és javascripttel generálnék galériát. Ezt kifog azokon a spidereken, akik nem téged céloznak.

Láttam egy egészen elvont weboldalon egy érdekességet. Úgy védték a képeket, hogy kis felbontásban rakták fel aa szöveg mellett, ráadásul átlósan áthúzott vízjellel.
A letölthető doksi latexben íródott, ott megvoltak a kiadvány kopirájtjai, és kész.
Persze a letöltésvezérlő meg beixeltette a júzerrel amit kellett.

Nem használok spidert, de nem tudtam, hogy a maiak is mindenfélére képesek.

---
--- A gond akkor van, ha látszólag minden működik. ---
---