https mirror tool

Segédprogramok

hi,

Olyan eszkozt keresek, ami:

- https kepes
- authentikaciora kepes
- szinkronizal egy http konyvtart egy lokalis konyvtarral (tehat ami a remote site-on torlodik, az a lokalis site-on is, egyiranyu, feltolteni nem kell)

Otlet?

  • 3838 megtekintés

( uid_7086 | 2014. 01. 21., k – 22:20 )

Gányolós megoldás is jó?
Ideiglenes, üres könyvtárba leszeded wget-tel a könyvtár tartalmát (ő tud https-t, authentikációt is - bár itt vannak kétségeim, ha saját login van, nem a web szerver intézi a beléptetést), egy rsync segítségével szinkronizálod oda, ahol tárolni akarod, törlöd az ideiglenest.

Lehet hogy nem értem hogy mire gondolsz, de ftp esetén is pont ez van. Ha http(s) van, akkor is lehetséges lekérni egy könyvtár tartalmát és azon rekurzívan végigmenve letölteni ami még nincs meg (sőt, itt jobb is mert küldhet ims get-et), illetve törölni azt, ami megvan de a szerveren már nincs.

Más kérdés, hogy nem ismerek erre való eszközt.

AFAIK HTTP-n marhara nem tudod lekerdezni a konyvtar tartalmat. Max a webszerver jofejsegbol general neked bizonyos mappak megnyitasakor egy random formatumu HTML fajlt, amibe belehanyja a mappaban levo fajlok linkjet, mar ha engedelyezve van valami random directory listing modul, de ennek semmi koze a HTTP-hez. Technikailag nem egy mappalistat kapsz, hanem egy index.html-t, aminek megletere es megfelelo parse-olasara szinkronizaciot alapozni eleg meredek.

GET :)

Nem volt szó a "kiírásban" arról, hogy bármilyen web szerverrel működnie kell ennek az egésznek. Ettől kezdve ha éppen szükséges, akár egy két soros CGI szkriptet is feltételezhetnék szerver oldalon, ami visszaadja a szinkronizálandó könyvtárak tartalmát -> bár itt nem gondoltam végig, hogy ennek célszerű html-nek lennie, hogy meglegyen az egyes fájlokhoz tartozó URL.

Végeredményben a wget -m is működik http/https felett, méghozzá egész jól. (debian mirrort hoztam már át így)

GET :)

A GET-tel egy bizonyos resource-t szedhetsz le, nem kerheted le vele mappak tartalmat.

Ettől kezdve ha éppen szükséges, akár egy két soros CGI szkriptet is feltételezhetnék szerver oldalon, ami visszaadja a szinkronizálandó könyvtárak tartalmát

Errol beszeltem fentebb is, hogy ez mar nem a HTTP retege, plusz szerveroldali tamogatas is kell hozza.

Végeredményben a wget -m is működik http/https felett, méghozzá egész jól. (debian mirrort hoztam már át így)

Igen, engedelyezett dirlist modullal, ami HTML fajlokat general neked bizonyos URL-ek megnyitasakor. De a lista nem egy HTTP uzenet lesz, hanem egy HTTP-n atlott mezei HTML fajl, amit a wget igy vagy ugy megprobal parse-olni.

Ezért is kérdeztem, hogy nem kevered-e a http-t a html-lel.
A http(s) adott, ezért nem használhat rsync-t e célra.
Hogy http fölött mivel oldják meg?
Hát valószínű, hogy ezért szerver oldalon is kell tenni valamit, de bármit kérsz http-n, ahhoz szükséges egy program a szerveren. Elvégre nem a web szerver adja vissza a lekért adatokat, hanem az általa futtatott program, nem? :)

Senki, de ha ad - jó esetben ad - akkor az valószínűleg html lesz. Az igazi baj valóban ott van, hogy semmi se garantálja hogy a kilökött html formátuma nem fog változni. És hogy benne lesz minden ami kell. Esetleg ha a szerver gazdája becsszóra megígéri, de ilyenre azért nem tenném fel a lélegeztetőgépemet.

( dorsy v | 2014. 01. 22., sze – 00:57 )

elsore nekem barmilyen https kepes verziokoveto. pl. (web)svn ugrik be

( Vizibirka | 2014. 01. 22., sze – 09:18 )

HTTP-n egy ilyen van úgy híjják, hogy HTTP DAV extension. (Erre lett kitalálva. Még a windows-van is benne van alapból :) )
HTTP(S) + DAV + tetszőleges* auth + davfs azt mehet az rsync

*tetszőleges http auth, más nem fog működni

( uid_7086 | 2014. 01. 22., sze – 09:54 )

Valami nem tiszta: mirrort akarsz, vagy a letöltött file-ok helyben is módosulnak és azt akarod, hogy ami nálad módosult, azt ne bántsa a letöltés?
Mivel szinkronizálást emlegettél, az előbbire nem is gondoltam.