Fájlrendszer, NAS, storage

Az IBM developerworks-ön jelent meg egy cikk "Develop your own filesystem with FUSE" címmel. A cikk arra a FUSE-ra (Filesystem in Userspace - filerendszer a felhasználói térben) alapoz, amelyet a magyar Szeredi Miklós fejleszt.

A Slackware felhasználónak ezután nem kell trükközniük, ha kedvenc disztribúciójukat a Hans Reiser és csapata által megálmodott következő generációs Reiser4 filerendszerre akarják telepíteni. Elérhető az interneten egy kb. 20 MB-os ISO image, amely lehetővé teszi, hogy a Slackware 10.2-t már a telepítéskor Reiser4 filerendszerre telepítsük.

Természetesen a telepítéshez szükséges az eredeti CD set is.

Az ISO letölthető innen.

Verziókövető fájlrendszer. Gyakorlatban annyit tesz, hogy az összes fájl összes korábbi változata kikaparható belőle.A rendszer áll a fuse.o (FUSE) modulból, egy user space daemonból, meg néhány egyéb scriptből (mount.wayback, vutils.pl multicall script).

Előnye a hagyományos verziókövető rendszerekkel szemben, hogy nem felejted el a checkint, és nem kell megtanulnod 112 parancsot.

A hátránya az, hogy nem arra való amire a verziókövető rendszerek :)

Bővebben a Wayback-ről itt.

Pár nappal ezelőtt bekerült a Reiser4 filerendszer az -mm kernelfába. Néhány nappal utána Hans Reiser fő fejlesztő sürgette a Reiser4 filerendszer mielőbbi elfogadását a kernelfejlesztők részéről. Reiser arra hivatkozott, hogy az Apple (Spotlight) és a Microsoft (WinFS) is olyan filerendszeren dolgozik, amely adabázis-szerű funkciókat valósít meg a filerendszerben.

Úgy látszik, hogy mostanában ez mozgatja a fejlesztőket, mert fejlesztés alatt áll egy DBFS (Database File System) névre hallgató projekt is, amely szintén a gyors keresést hivatott megvalósítani.A DBFS nem egy klasszikus filerendszer, sokkal inkább dokumentum rendszer. A DBFS célja, hogy megkönnyítse a fileok keresését a sok gigabyte-os filerendszerekben. Érdekes ötlet, érdemes elgondolkodni rajta. A munka GPL-es.

Bővebb infó a projekt weboldalán itt.

Pár napja megjelent a Reiser4 filerendszer az Andrew Morton féle -mm kernelfában.

Ezzel kapcsolatban egy nagyon-nagyon hosszú szál indult az LKML-en. A beszélgetés akörül forog, hogy a Reiser4 beolvasztása olyan változásokkal bővíti ki a a Linux kernel API-t, amelyet POSIX/Unix/stb. specifikációk nem láttak előre. Hans Reiser természetesen azt szeretné, ha a Reiser4 mihamarabb a kernel része lenne.Andrew Morton ennyire nem siettetné a dolgot. Reiser szerint muszáj beolvasztani a Reiser4-et, mert a Microsoft-féle WinFS és Dominic Giampaolo által készített Spotlight már nagyon közel van a megjelenéshez, így kell valamit produkálni válaszul.

Reiser szerint szükség van arra, hogy kereső motort (search engine) és adatbázis funkcionalitást építsenek a filerendszerbe. Ahhoz, hogy ezt meg lehessen tenni egy tiszta tároló réteget (storage layer) kell tervezni, amelyhez 11 évnyi komoly munkára van szükség. A Reiser4 már most tudja ezt. Ezt egyik linuxos filerendszer sem tudja jelenleg. A ReiserFS következő nagy kiadása már nagy ugrás lehetne, mert az előfeltételek már a helyükön vannak a Reiser4-ben. Reiser arra kéri a fejlesztőket, hogy ne tegyék a Reiser4-et a VFS-be, hanem használják a Reiser4-et, mint VFS-t. Ne írjanak újabb filerendszereket, hanem írjanak file plugin-okat és diszk formátum plugin-okat a Reiser4-hez. Arra kéri a fejlesztőket, hogy értékeljék 10 év munkáját, és ne duplikálják a meglevő dolgokat, hanem használják azt, ami már készen van.

Mivel az egész Reiser4 egy nagy témakör Andrew Morton szerint is, arra kérte Hans Reisert, hogy szedje össze azokat a dolgokat, amelyeket a fejlesztőknek mindenképpen tudniuk kell róla. Például írja le, hogy miért jobb a plugin formátum, mint az a megoldás, amelyet a jelenlegi filerendszerek használnak.

Resier szerint ha valaki a jelenlegi filerendszerekkel akar foglalkozni, akkor annak kb. 6 hónapjába kerül, mire annyira képbe jön, hogy változtatni tud bennük. A Reiser4-hez plugint írni hétvégi programmer feladat...

A KernelTrap összeszedte a több száz levélből álló thread lényegét. El lehet olvasni itt. Az LKML szál (erős idegzetűeknek) itt kezdődik.

Pár nappal ezelőtt jelent meg a Kernel Traffic-ban egy írás, amely arról szól, hogy az ext3 filerendszerek fsck ideje egyre hosszabbra nyúlik, és ez a gyakran (kb. minden 30-adik mountolás után) mount-olt filerendszerek esetén (laptopok, desktop gépek) nem szerencsés dolog.

Az írást elolvasva Otto Wyss-nek egy ötlete támadt, amelyet megosztott a fejlesztőkkel az LKML-en. Az ötlet a következő: elméletileg a naplózó filerendszerek biztosítják azt, hogy a filerendszer mindig konzisztens legyen. Jobb lenne ha az fsck nem boot időben futna le, hanem a rendszer futásának idejében, alacsony prioritással a háttérben. Az ötlet nem új, hiszen a FreeBSD 5-ben már egy ideje van egy hasonló megoldás az UFS2 filerendszereken (background fsck).Az ötlet megnyerte a fejlesztők tetszését, Alan Cox (btw. Alan Cox úgy tűnik visszatért a kernelfejlesztéshez, mert az utóbbi héten szinte minden második levél tőle van) és Ted T'so is jónak találta az ötletet.

Ted szerint ehhez semmilyen kernel patchre vagy C kódolásra nincs szükség, egyszerűen az alábbiakat kell tenni:

1.) Készíteni kell egy tiszta, read-only snapshotot az ext3 filerendszerről a device-mapper segítségével.

2.) A snapshoton futtatni kell az ``e2fsck -f''-et (feltételezzük hogy a kernelünk nem bugos és hardverünk rendben van) a hibák ellenőrzéséhez. Majd végén el kell ereszteni a read-only snapshotot.

3.) Ha hibát találunk, akkor az outputot elküldjük email-ben a root-nak.

4.) Ha minden rendben van, akkor futtatjuk a ``tune2fs -C 0 -T now /dev/XXX'' parancsot az éles filerendszeren, amely beírja a filerendszerre azt az információt, hogy futott már az fsck. Ezzel megakadályozzuk, hogy a legközelebbi bootolásokkor feleslegesen fusson az fsck, és rabolja az időnket.

Ted és Alan bátorít mindenkit, aki úgy érzi, hogy szeretné megcsinálni a projektet (azt írták szép projekt egy első projektets embernek. itt a lehetőség, hogy valaki bizonyítson :-)

A thread itt.

(PS: Nem, a cikk nem jelent még meg sehol, bármilyen hihetetlen a levlistáról íródott. Gondolom magára ismer, akinek szól.)

Közel 5 hónapnyi "internal testing" után végre megint megjelent egy friss Reiser4 kernel patch. A folt linux-2.6.8-rc2-mm2-el használható.

A kernel patch és a hozzá tartozó userspace könyvtárak és programok innen tölthetők le. A tudnivalók itt olvashatók.A Reiser4 egyenlőre kisérleti fájlrendszer, ezért nem célszerű még éles adatokat tárolni rajta.

Az, hogy a mostani foltot a -mm ághoz készítették el, remélhetőleg már azt jelzi, hogy nemsokára bekerül Andrew Morton fejlesztői ágába.

A napokban vetődött fel az a kérdés a Fórumban, hogy vajon milyen naplózó filerendszert kellene telepíteni manapság egy Linux disztó alá, hogy a legnagyobb teljesítményt és biztonságot érhessük el.

Mintha Justin Piszcz meghallotta volna a kérdést, mert azonnal össze is ütött egy FS benchmark versenyt a népszerű linuxos journaling filerendszerek között. A versenyben az alábbi FS-ek szerepeltek: ext2 (mint kakukktojás), ext3, reiserfs, jfs, xfs. Lássuk mit állapított meg a teszter (huh, de sok ilyen tesztet láttunk már...).A teszt során használt konfiguráció:

Számítógép: Dell Optiplex GX1

CPU: Pentium III 500MHZ

RAM: 768MB

SWAP: 1536MB

Controller: Promise ATA/100 TX - BIOS 14 - IN PCI SLOT #1

Merevlemezek:

1] Western Digital 250GB ATA/100 8MB CACHE 7200RPM

2] Maxtor 61.4GB ATA/66 2MB CACHE 5400RPM

Tesztelt merevlemez: The Western Digital 250GB

A tesztek 2.4.26-os Linux kernel alatt futottak, 2.3.2 libc verzióval.

A teszt az alábbiakból állt:

- 10.000 file létrehozása ``touch''-csal

- ``find'' futtatása a könyvtárban

- könyvtár törlése

- 10.000 könyvtár készítése ``mkdir''-rel

- ``find'' futtatása a könyvtárban

- a 10.000 könyvtárat tartalmazókönyvtár törlése

- kernel tarball másolása egyik diszkről a tesztelt diszkre

- stb.

A konklúzió szerint ha valaki naplózó FS-t szeretne, akkor a következőkből célszerű választania (a tesztjei alapján): JFS, ReiserFS vagy XFS. A cikk írója meglepődött az ext3 lassúságán, hiszen - mint, írja - ez az alapértelmezett FS számos disztribúcióban.

A tesztet megtekintheted itt.

Hans Reiser - a ResierFS és az új generációs Reiser4 filerendszer fejlesztői projekt vezetője - az LKML-en bejelentette, hogy a Reiser4 filerendszerben még egy NFS-sel és egy mmap-pal kapcsolatos bug van, valamint teljesítmény problémákkal is küzdenek, amelyet várhatóan a heti snapshotban kijavítanak.

Amint a bugok javításra kerülnek, elküldik a patchet Andrew Mortonnak, hogy az bekerülhessen az -mm kernelbe, majd utána a mainline kernelbe is.Hans Reiser reméli, hogy ezeket a bugokat leszámítva a Reiser4 már elegendően stabil ahhoz, hogy az átlagos userek nekiálljanak használni. A Reiser4 teszteléséhez több ember kellene, ezért Hans kér mindenkit, hogy aki teheti tesztelje az új FS-t.

A Reiser4 legújabb snapshotja a 2.6.5-rc2 kernelhez megtalálható itt. Hans Reiser levele itt.

Volt idő, hogy a ReiserFS-t sokan nem szerették. Tény, hogy a fejlesztésének korai szakaszában voltak vele problémák. De a ReiserFS kinőtte gyermekbetegségeit, és az utóbbi években stabil és gyors általános célú filerendszerré fejlődött. A vezető Linux disztribútorok közül a SuSE a ReiserFS-t használja alapértelmezett naplózó filerendszerként a terjesztéseiben.

A kernelhackerek között is voltak korábban nézeteltérések a ReiserFS megítélését illetően, de mára már elszálltak ezek a kételyek is.

Olyannyira, hogy Larry McVoy a Bitkeeper atyja azon töri a fejét, hogy a bkbits.net alá ReiserFS filerendszert tesz.A Linux kernel fejlesztése a Bitkeeper névre hallgató, zárt forrású verzió kezelő rendszerben folyik. A Bitkeeper a bkbits.net szerver ad otthont. Mivel a Bitkeeper természetéből adódóan abból többnyire olvasnak, és ha olvasnak akkor is apró fileokat, Larry úgy döntött, hogy megfontolja a ReiserFS-re való áttérést.

Az LKML-en feltette a kérdést, hogy tud-e valaki olyan okot, ami miatt ez a lépés nem lenne ésszerű. A válaszok (többnyire) pozitívak voltak, úgyhogy elképzehető, hogy a ReiserFS tényleg bizonyítani tud ilyen fontos projekt alatt is.

A thread itt.