32 GB adat mentése [megoldva]

Debian GNU/Linux

Sziasztok!

Van egy debian etch gép, amin van ~32 GB maildir formátumú levelezés (sok postafiók IMAP -ként használva). Ezekről kellene napi mentést csinálni, hogy legalább 5 napig megmaradjon. Csináltam pár tesztet az egyik 111 MB -os fiókkal. Az lzma tűnt a legjobban tömörítőnek, de neki is kellett 146 másodperc ehhez a tömörítéshez, így az egész adat tömörítése túl sok lenne (belenyúlna a munkaidőbe és ezt nem szeretném). A bzip2 jóval gyorsabb volt, az ~3-3,5 óra alatt lementené az adatokat. A bzip2 -vel ~20 GB -s lenne a tömörített állományok (minden postafiók külön tar.bz2 fájlban) összessége. Ugye ugyan azon a gépre történő mentés kilőve. Sajnos csak egy 1Mbit/s bérelt vonal van. Ezt a 20GB -t feltölteni ezen, ismét bőven belelógna a munkaidőbe és akkor az meg az internet-kapcsolat sebességét fogná vissza munkaidőben, és ez szintén nem jó. Amire feltölteném gép, annak 100Mbit/s kapcsolata van. Tudnátok javasolni erre valami jó megoldást?

( msandor v | 2007. 03. 20., k – 22:10 )

a te esetedben én simán átvinném merevlemezen vagy dvd-en a teljes levelezést, feltolnám a "backup" gépre, majd onnantól kezdve rsync-elném a teljes könyvtárstruktúrát
így elvileg bármikor futtathatod a szinkronizálást, csak a napi levelezést kell átvinnie, ami gondolom csak MB nagyságrendű...

ha a --delete kapcsolót használod, akkor teljesen meg fog egyezni a tükör is...

--
by Mikul@s

Erre én is gondoltam már. Viszont az rsync -el akadt egy kis problémám.
A cél gépre (amire mentenék) nem a default 22 -es ssh porton lehet kapcsolódni és csak ssh kulccsal. Sajnos nem tudtam összehozni a megfelelő kapcsolókat. Ja, és az ssh kulcshoz jelszó is tartozik. Ebben tudnál segíteni egy kicsit?
___________________________________________________________________
Lógnak a pálmafán a kókuszok .... :)

OK, de hogy adom meg, hogy ssh kulcsot használjon, és hogy milyen jelszót használjon ahhoz az ssh kulcshoz, mikor kapcsolódik a másik gépre? Na meg az sem sikerült, hogy ne a 22 -es porton (valamiért mindig ott szeretne csatlakozni), hanem egy másik porton kapcsolódjon a cél géphez?
___________________________________________________________________
Lógnak a pálmafán a kókuszok .... :)

Van valami ssh agent dolog is, google-ban rákeresve biztos megtalálod. Ennek az a lényege, hogy a kulcsot fel tudod venni az agent latókörébe (akkor és ott megadva a jelszót) és utána ha ssh-zol akkor már onnan veszi a kulcsot és nem kéri a jelszót. Ez "normál" ssh-nál tuti működik, hogy az rsync által használt megoldás mit kezdene ezzel, azt ki kell próbálni :-).
D.

rsync -aPv --rsh="/usr/bin/ssh -p 48543 -i /mnt/sda2/kulcsok/private-key.txt" ./ user@1.2.3.4:/home/user/backup

Ez a verzió már majdnem jó. Valahogy meg lehet adni az ssh -nak parancssorban a kulcshoz tartozó jelszót (mert cron -ból futtatnám)?

___________________________________________________________________
Lógnak a pálmafán a kókuszok .... :)

Találtam ezt az ssh manjában:

SSH_ASKPASS:
If ssh needs a passphrase, it will read the passphrase from the current terminal if it was run from a termi‐
nal. If ssh does not have a terminal associated with it but DISPLAY and SSH_ASKPASS are set, it will exe‐
cute the program specified by SSH_ASKPASS and open an X11 window to read the passphrase. This is particu‐
larly useful when calling ssh from a .xsession or related script. (Note that on some machines it may be
necessary to redirect the input from /dev/null to make this work.)
A végét sajnos nem igen értem. Mit kellene átirányítanom és hova na meg hogyan??
Úgy fest hogy már csak ezt kellene megoldani és jó lenne.

___________________________________________________________________
Lógnak a pálmafán a kókuszok .... :)

1.) ssh-keygen pass nélkül
2.) id_dsa.pub hozzáfűzése a klinens (rsync-ssh) .ssh/authorized_keys állományához, vagy a gép megfelelő központi auth állományához
és pass sem kell

..............................................................
Ha átadod a tudásod neked attól még nem lesz kevesebb belőle..

( tamsa | 2007. 03. 20., k – 22:28 )

Hát ezt ravasz módon pl.: tükrözött (raid 1)lemezekkel lehetne megoldani.
1.) Tükör megbont
2.) megbontott tükör elment ( tart amíg tart )
3.) tükör visszaállít
4.) sleep
5.) goto 1.)

..............................................................
Ha átadod a tudásod neked attól még nem lesz kevesebb belőle..

Miért is ?

Mi egy régi rendszert így mentettünk ... igaz HPUX volt.

máik kérdés, hogy mennyire kell konzisztens állapot az egyes mailboxokról?
Mert ügye kellően nagy állomány folyamatos írásakor kissé macerás biztosítani a lezárt állapotot a nagy állomány mentésének idejére. Ellenben a tükör megbontása csak egy pillanatnyi lockolát feltételez.

..............................................................
Ha átadod a tudásod neked attól még nem lesz kevesebb belőle..

Ha eltekintek attól, hogy nem szeretek játszadozni a szoftveres raid tömbökkel ilyen szinten ha nem feltétlen szükséges (ez csak egyéni vélemény), ettől még a mentés nem kerül fel egy másik hálózaton lévő gépre.
A korábban említett rsync módszer jó lesz nekem. Az rsync is jól keeli a lockolást, csak éppen az adott fájlt lockolja, ami belefér.

___________________________________________________________________
Lógnak a pálmafán a kókuszok .... :)

jaaa softraid ... :(
akkor marad az rsync plus ssh kulcs cserés balhé.
Az jó kérdés lehet hogy honnan indítanád az rsync-et a Mailserverről, vagy a backup szerverről, mert az szabja meg, hogy hogyan kell konfigolni a dolgot. No arról szó sem esett, hogy a két gép milyen kapcsolatban van egymással ( azonos vlan? vagy sima nyilt net? )
szerk: ventura linkje teljesen jó. :)
..............................................................
Ha átadod a tudásod neked attól még nem lesz kevesebb belőle..

Igen ventura linkje teljes mértékben jó a problémámra.
A levelezőszerver egy 1Mbit/s vonalon csücsül, a backup meg egy szerverfarmon. A biztonság miatt is egész jó az rsync.
___________________________________________________________________
Lógnak a pálmafán a kókuszok .... :)