Érdekes / hasznos dolgok LTO-ról

Gondoltam összeszedek pár izgalmasabb dolgot az LTO szalagokról / driveokról, hátha valaki mostanában szemez ilyen backup megoldással.

 1. Egy szalagra több file is írható szekvenciálisan. 

Pl. linux esetében a /dev/nst0 (non-rewinding SCSI tape) eszközre írás után ott marad a szalagpozíció, és küldhetjük a következő file-t. De később is bármikor kiadva az "mt eom" parancsot, a szalag utolsó file-jának végére állhatunk.

2. A kiírt fileok között könnyedén navigálhatunk "gyorscsévéléssel". Pl. az 5. file elérhető így:

mt rewind
mt fsf 5

3. Az LTO drive hardveresen tömörít (on-the-fly), semmi szükség az adatfolyamot előtte tömöríteni. 

4. Kiírás után rögtön történik egy visszaellenőrzés is (tényleges visszaolvasással), az olvasófej rögtön az író fej mögött van, és azonnal megtörténik az összehasonlítás. Felesleges a "tar df". Ha a "tar cf /dev/nst0" 0-t ad vissza returnkódként, akkor nem volt íráskor / visszaellenőrzéskor hiba.

5. Az LTO eszközök nagyon gyorsak, a 7-es generációval közel 500 MB/s sebességet tudtam elérni.

6. Minden LTO szalagban van egy kis cartridge memória, amit a drive ki tud olvasni, sőt, folyamatosan frissít írás közben is.

sg_logs -a /dev/nst0

7. Itt megtalálható például a szalag sorozatszáma, ami egy gyári azonosító.

Volume serial number: XXXX0T13PE                      
Volume manufacturer : FUJIFILM
Volume personality  : Ultrium-7

8. Ragaszthatunk a szalagokra saját azonosítóval ellátott vonalkódos címkét, amit pl. az LTO library-k tudnak olvasni (de sg_logs is mutatja), ez alapján leltározni (pl. sima unixos mtx parancs)

Itt tudunk szabványos címkéket kreálni: https://tapelabel.de/ 

9. Szintén a cartridge memóriából kiolvasható, hogy az adott szalagra pontosan mennyit írtunk:

Total native capacity      [MB]: 6000000
Total used native capacity [MB]: 1193232

10. Szalagot felülírni nagyon egyszerű. Beállunk pozícióba (akár a szalag elejére), elkezdjük az írást, és innét kezdve a szalag hátralévő része logikailag üressé válik (a cartridge memória is így mutatja a foglaltságot). Nincs szükség a hosszadalmas "mt erase" műveletre (ami egyébként fizikailag felülírja az egész szalagot). Az "mt eom" is az újonnan kiírt, felülírással kiírt file végére fog ugrani, hiába volt rövidebb, mint egy korábban ott létező, már részben felülírt file; sőt ha teljes egészében megmaradtak korábbi fileok fizikailag, azokat már nem érhetjük el. A "szalag vége" jel a felülírással kiírt file végére fog mutatni. 

11. A szalagokon van egy "write protect" kapcsoló, ez hardveresen gátolja az írást. Nagy LTO library eszköznél nem praktikus, hogy mindig kivesszük a megtelt szalagokat, mert adatvisszatöltésnél mindig pakolgatni kell. Viszont jó, ha meg tudjuk így védeni a véletlen vagy szándékos károkozástól a mentéseket.

12. Létezik WORM típusú LTO szalag. Ezt csak egyszer tudjuk írni, nem tudjuk felülírni vagy törölni. 

13. Az LTO generációk valamennyire kompatibilisek visszafelé. A drive tud írni egy generációval korábbi szalagokat, és olvasni kettővel korábbiakat. Ez elég praktikus, nem kell olyan gyakran újraírni az egész backup készletet.

14. Az LTO library linuxon nagyon kezes jószág. Az "mtx" paranccsal kiválóan lehet használni, nem kell semmiféle webes / GUI felület. 

$ mtx status
Storage Changer /dev/changer:1 Drives, 9 Slots ( 0 Import/Export )
Data Transfer Element 0:Full (Storage Element 6 Loaded)
      Storage Element 1:Full 
      Storage Element 2:Full 
      Storage Element 3:Full 
      Storage Element 4:Full 
      Storage Element 5:Full 
      Storage Element 6:Empty
      Storage Element 7:Full 
      Storage Element 8:Full 
      Storage Element 9:Empty
$ mtx unload
Unloading drive 0 into Storage Element 6...done
$ mtx load 1
Loading media from Storage Element 1 into drive 0...done

15. Bónusz: izgalmas dolog saját backup manager scriptet készíteni (tape / backup inventory). Szerintem hosszú távon (szalagos backup esetében akár 20-30 évről beszélünk) jobb olyan szoftverekre támaszkodni, ami vélhetően még akkor is üzemképes lesz, nem lesz gond a licenszével stb. Ezért is szeretem a tar/dd/mt/mtx kombót. Az egyedüli kakukktojás a borg, amit deduplikációs mentésre használunk, de a hosszú távra elrakott mentéseket nem borg repo-ként mentünk, hanem egy-egy mentést kiszedve, rendes tar archívként.

serial      position  type       created     label                   lastfile  totalsize  capacity  used  used %  free  hwcompr%
----------  --------  ---------  ----------  ----------------------  --------  ---------  --------  ----  ------  ----  --------
XXXXYK09CA            Ultrium-7  2019-03-27  Install/01              69        5579       5587      5399  96      188   4       
XXXXYHP8M1  1         Ultrium-7  2020-05-04  SAPfs/01                43        3790       5587      2875  51      2712  25      
XXXXYHPGM8            Ultrium-7  2019-11-14  Prod/01                 74        5683       5587      5577  99      10    2       
XXXXYHPD8P            Ultrium-7  2020-07-15  Prod/02                 35        5659       5587      5534  99      53    3       
XXXXYK08ML  2         Ultrium-7  2021-04-03  Prod/03                 31        5717       5587      5557  99      30    3       
XXXX0PXT7E  3         Ultrium-7  2021-12-21  Prod/04                 45        5754       5587      5573  99      14    4       
XXXX0T0T6P  4         Ultrium-7  2021-12-23  Prod/05                 0         494        5587      477   8       5110  4       
XXXXYHPA9T            Ultrium-7  2020-05-04  Dev/01                  60        6508       5587      5576  99      11    15      
XXXX0RW6DN  5         Ultrium-7  2021-12-23  Dev/02                  52        5411       5587      5279  94      308   3       
XXXX0T13PE  6 «««     Ultrium-7  2021-12-23  Dev/03                  1         1131       5587      1092  19      4495  4       
XXXXYHPMV0            Ultrium-7  2020-05-04  NonProd/01              112       5577       5587      5419  96      168   3       
XXXXYHNT7R            Ultrium-7  2021-03-30  NonProd/02              25        5666       5587      5583  99      4     2       
XXXX0T1EUW  7         Ultrium-7  2021-12-23  NonProd/03              115       11185      5587      4304  77      1283  62      
XXXX0PY4HY  8         Ultrium-7  2021-12-23  NonProd/04              -1        0          5587      0     0       5587          

««« Tape XXXX0T13PE loaded »»»

btype  tfile  bcreated          bpath                                               bsize  verified  taropts  compressed
-----  -----  ----------------  --------------------------------------------------  -----  --------  -------  ----------
db     0      2022-09-01 22:20  DEV/db/20220806                                     721              -b128              
db     1      2022-10-04 10:56  DEV/db/20220923                                     410              -b128

( _ventura_ v | 2022. 12. 02., p – 06:07 )

Hát igen, nekem a szalagos emlékek kimerülnek a Commodore kazettás dolgainál. 

1x ha nagyon unatkozok lehet beüzemelem a cégnél porosodó kisebb IBM tape library-t ...

Fedora 38, Thinkpad x280

( Vizibirka | 2022. 12. 02., p – 07:36 )

Koszi, nagyon hasznos igy osszeszedve. 

( uid_6201 v | 2022. 12. 02., p – 08:08 )

Szerkesztve: 2022. 12. 02., p – 08:13

Köszi, kedvcsinálónak igen jó összefoglaló.
Közben látom kapható LTO-8 is 12TB-os natív kapacitású szalagokkal, sőt LTO-9 18TB natív szalagokkal (a csúcstechnika jó drágáért).

Azért a marketing igen optimista, hogy a mai tartalmakat 2,5-es szorzóval tömöríthetőre feltételezi és a szalagon ezt a számot tüntetik fel.

Igen, jó az LTO8, egyik ügyfél pont most upgradelt. Üzemszerűen nem használom, még csak méricskéltem vele.

  Total native capacity [MB]: 12000000
  Volume personality: LTOL8G8

Nyilván a natív kapacitással kell számolni, de egyébként tényleg egész jól tömörít, megközelíti a gzip-et, és nagyon gyors (nem lassítja le az adatfolyamot). Sőt, tömörített adatbázismentéseket is összenyom még 2-3%-ot (a scriptemben külön mérem a kiírt adatkészletek méretét, és összehasonlítom a tape cartridge foglaltsági értékével - így jön ki a hwcompr% oszlop).

( Oregon | 2022. 12. 02., p – 09:42 )

Szerkesztve: 2022. 12. 02., p – 09:42

A teleírt szalagokat hogyan tároljátok? Faraday-kalitka, pára, hőfok, egymástól milyen távol? 

Ügyfelek általában sima páncélszekrényben tartják, az archívumban. Normál szobahőmérséklet (20 fok körül), semmi extrémitás. Igyekszünk messze az ipari környezettől keresni neki helyet.

Amit mi tárolunk el, az általában hosszabb távú archiválási céllal megy ki szalagra, ezeket két helyszínen (másolat vagy váltott széria), egymástól 300 km-re tároljuk. Az egyik helyszín a világ végén, ahol nincs távvezeték, se ipartelep. De igazából felesleges ennyi elővigyázatosság; normál irodai környezet tökéletesen elég lenne.

( davebacsi | 2022. 12. 02., p – 17:08 )

Nem utolsósorban a szalagokon nincsen Artisjus hologram. 

( ncc1701 | 2022. 12. 02., p – 20:44 )

Milyen "kedvező" ára van egy hp lto drivenak. :)

Nem mentés volt, hanem archiválás. A mentés ment raid tükörre (négy lemezre tükrözve), a hó végi mentést követően leáll, két diszk ki, két új üres diszk vissza, boot, script összerakta a tömböt, elindult a szinkronizálás, a két kivett diszk meg bedobozolva ment a lemezszekrénybe/másik site-ra. Azaz havi kettő diszket "evett meg" a rendszer. Előnye, hogy gyorsan lehetett archívból visszahozni bármit, hátránya, hogy az archív adathordozót nem lehetett írásvédetté tenni.

( rpsoft v | 2022. 12. 03., szo – 01:52 )

Mennyi a szalag élettartama, amennyi ideig bízni lehet benne, hogy  még kiolvasható?

per def. az LTO technológiát 15-30 éves élettartamra tervezik. Ideális környezetben (16-25 fok között, 20-50% relatív páratartalom mellett) ezt tudja is. 

Elég öreg vagyok már ahhoz, hogy legyenek 2005-ös szalagjaim (LTO-3), kiválóan olvasható mindegyik. Az elarchivált CD/DVD/HDD adathordozókról sajnos ez már nem mondható el.

( cyclops | 2023. 04. 22., szo – 08:49 )

Jó kis összefoglaló. Nekem LTO4-es meghajtóm/kazettáim vannak és írtam saját script-eket, ami a tar-t használja.

A Volume barcode-ot olvasni tudom:

sudo sg_logs -a /dev/nst0|grep 'Volume barcode'|awk '{ print $3 }'

Tudja valaki, hogyan lehet ezt a Volume barcode mezőt írni? Vannak olyan kazettáim, amin nincs barcode és ez a mező üres.