L2ARC
In a ZFS system a caching technique called ARC caches as much of your dataset in RAM as possible. This allows frequently data to accessed very quickly, much faster than having to go the backing HDD array. It follows that more RAM means more ARC space which in turn means more data can be cached. The maximum space ARC will occupy can be changed but typically it uses up to 7/8 of your RAM, however will release memory back to system as other applications require it. So if you had 128GB of RAM in your system and your total dataset size was 1TB, 11.2% of all your data will reside in the ARC resulting in significantly faster access times.
The ARC has a very intelligent algorithm to manage the cache to ensure that data present is data you actually want cached. You don't want data you never actually use in your cache as it would be a waste of resources.
Although this algorithm is very effective, as your data-set increases the % of your data that can be stored in the cache gets less and less, and the cache becomes less effective.
This is where the L2ARC comes in, it is an extension of the ARC cache hence the name Level 2 ARC. Using fast disks such as SSDs the cache size can increase dramatically when the option of adding more RAM becomes either physically or economically impossible.
Now unlike the ARC cache, the L2ARC does not populate itself with data as soon as you set it up, its loads itself with data as it gets ejected out of the ARC. Therefore it can take some time to fully populate your L2ARC and see the added performance benefit.
A fentiek értelmében a perzisztens L2ARC támogatás azt hivatott biztosítani, hogy reboot során ne vesszen el az L2ARC tartalma.
- A hozzászóláshoz be kell jelentkezni
Hozzászólások
Jó lesz ez a ZFS úgy 10 év múlva. :)
Addigra talán a hardver is felfejlődik hozzá.
- A hozzászóláshoz be kell jelentkezni
Eddig nem fogott meg, de akkor majd 10 év múlva ránézek! Akkor már csak 9 év lesz nyugdíjig, így abban az időben majd elhobbiprojektezek vele.
trey @ gépház
- A hozzászóláshoz be kell jelentkezni
Szerintem addigra kapsz akkora laptopot, hogy minden funkcióját ki tudd használni. :)
- A hozzászóláshoz be kell jelentkezni
Igen, mert egyébként én storage-okkal nem foglalkozom.
trey @ gépház
- A hozzászóláshoz be kell jelentkezni
Egyesek fikázzák, mások meg problémamentesen használják.
Tertilla; Tisztelem a botladozó embert és nem rokonszenvezem a tökéletessel! Hagyd már abba!; DropBox
- A hozzászóláshoz be kell jelentkezni
Tudom, Treynek is minden mindig működik az Ubuntuban, de attól még, hogy te pont azon a sárgaköves úton jársz, aminél nincsenek gondok még el tudod fogadni, hogy bőven van még vele probléma?
Az meg ha az általad említett másokba te is beletartozol fel kellett tűnjön, hogy kétségtelenül több az erőforrásigénye (CPU, memória, de akár diszk IO is), mint más FS-eknek.
- A hozzászóláshoz be kell jelentkezni
Gondolom a megnyilvanulasod alapos sajat teszteles vegeredmenye, ami azt mondja neked ez egy szar. Gondolom az a petabyte amin en hasznalom nem oszt nem szoroz. Ketsegkivul van eroforras igenye, de tobb szolgaltatast is nyujt, ez igy mukodik.
- A hozzászóláshoz be kell jelentkezni
Nem mondom, hogy szar, sőt, szerintem jó :), csak azt, hogy bőven bele lehet futni vele olyan hibákba, amikbe egy kiforrottabb FS-sel már nem futsz bele, mert már a legtöbb corner case-t lekezelték benne, és van már olyan image, ami 20+ éve megy.
Mákod van, hogy a PB-od, amin te használod épp jó konstellációban van, nem töredezett agyon a hosszú(?) évek használata során, ami miatt mondjuk több száz GB memória kéne csak ahhoz, hogy importálni tudd. Másokhoz (innen a HUP-ról is, talán valami cikk is volt róla, szóval azért nem egy nagyon ritka jelenség ez) hasonlóan én pld. belefutottam ebbe. Te mit gondolnál, ha ilyet tapasztalnál, és a PB-nyi adatodhoz csak 1 TB RAM beszerzése árán juthatnál hozzá (és még az sem lenne elég, mert az csak arra jó, hogy essen-keljen a géped)?
- A hozzászóláshoz be kell jelentkezni
Amúgy YAY, nem is tudom hány éve húzzák már ezt. Könnyen lehet, hogy a legtovább tartó szülés volt ez a feature...
Jöhet akkor most már az, hogy egy L2ARC-ot több zpool is tudjon használni, meg a tiering és a társai. Bár mire ezekkel elkészülnek, lehet, hogy már senkinek nem lesz rá szüksége. Tíz éve még nagyot ütött volna.
- A hozzászóláshoz be kell jelentkezni
a ZSTD tömörítés is várat magára...
- A hozzászóláshoz be kell jelentkezni
Az biztos a fasorban sincs ehhez képest. A wikipedia szerint 2015-ben jelent meg, miközben a perzisztens L2ARC körül már 2013-ban volt nyüzsgés, ha jól emlékszem.
Vagy talán még korábban:
https://github.com/openzfs/zfs/issues/925
- A hozzászóláshoz be kell jelentkezni
Oké de mi van helyette, ha az ember 2020-ban egy szaros snapshotot akar csinálni? BTRFS? Vagy szenvedés az LVM snapshottal?
- A hozzászóláshoz be kell jelentkezni
Kérdezzük meg Treyt!
- A hozzászóláshoz be kell jelentkezni
Én ezt úgy szoktam, hogy jobb klikk a virtuális gépen -> Snapshot -> Take snapshot. A támogatott storage esetén a VAAI-n keresztül a snapshot műveletek offload -> storage. Ilyenek például:
- Native Snapshot Support – Allows creation of virtual machine snapshots to be offloaded to the array.
Ez a ZFS nekem sok sebből vérző valami. Desktopra overkill. Olcsó/játszós storage-nak a memóriazabálása miatt szintén nem jó. Akinek meg van pénze, azt meg vesz komolyabb cejget, gyári supporttal és nyugodtan alszik az éjjel.
trey @ gépház
- A hozzászóláshoz be kell jelentkezni
Profin hangzik, de egy fájlrendszer szintű snapshothoz képest azért ez számtalanszor egy sok sebből vérző valami. :)
(persze kérdés, mire, hogyan használod a snapshotot, valószínűleg neked elég)
- A hozzászóláshoz be kell jelentkezni
Profin hangzik, de egy fájlrendszer szintű snapshothoz képest azért ez számtalanszor egy sok sebből vérző valami. :)
Nyugodtan zavarj részletekkel. Esetleg majd térj ki az ilyen dolgokra is: https://jira.ixsystems.com/browse/NAS-105782
neked elég
LOL @ neked :D
trey @ gépház
- A hozzászóláshoz be kell jelentkezni
Te enterprise környezetben dolgozol, nyilván az ahhoz passzoló eszközöket/feladatokat látod, más meg mást.
Az enterprise-nál fontos, hogy az előző évezredbeli architektúra alatt legyen egy megbízható storage, meg a döntéshozóknak az érzés, hogy eltapsoltak párszázmilliót jól integrált branded izékre, amiken képesek a gombnyomkodásra szakosított szakmunkások nyomogatni a gombokat, meg cserélgetni a diszkeket.
A storage-oddal vsz. nehezebben oldod meg, hogy diffet kérj a snapshotok között, vagy hogy nagyon sok adatterületen gyorsan mozogj ezeken (pld. nem volt jó az elmúlt két nap termése ebben a könyvtárban, álljunk vissza), esetleg klónozd ezeket úgy, hogy egy új folyamat tudja folytatni a munkát azon az adatterületen egy adott ponttól. Ez is egy igény, amit a fájlrendszer jobban meg tud oldani.
Ettől még nem ez lesz az univerzális megoldás, a te Windows/Linux virtualizált környezetednek nem ez kell.
Lehet, hogy újdonság, de az általad használt storage-okon is szoftver fut, amiben szintén vannak bugok. Néha elég csúnyák is. :)
Azt mondjuk nem értem, hogy egy FreeNAS bug milyen relevanciával bír ebben a témában, illetve mire kéne kitérnem vele kapcsolatban...
- A hozzászóláshoz be kell jelentkezni
Persze, hogy megvan a ZFS-nek is a helye. Csak én még nem találtam meg. Van nekem is épített, játszós storage-om a gyáriak mellett, csak nem 128GB RAM-ot kértek, hanem mondjuk 2GB-ot.
Az enterprise-nál fontos, hogy az előző évezredbeli architektúra alatt legyen egy megbízható storage, meg a döntéshozóknak az érzés, hogy eltapsoltak párszázmilliót jól integrált branded izékre, amiken képesek a gombnyomkodásra szakosított szakmunkások nyomogatni a gombokat, meg cserélgetni a diszkeket.
Jaj, dehogy kell erre pár száz millió! Ha te csak ezt látod, akkor átbasztak!
"(pld. nem volt jó az elmúlt két nap termése ebben a könyvtárban, álljunk vissza),"
Ja, Shadow copy of Shared Folders, aztán az user maga is vissza tudja tenni. Maga válogathat a verziók közt Ne szédíts már!
Azt mondjuk nem értem, hogy egy FreeNAS bug
Úgy, hogy a mögötte álló cég az, amelyik ZFS alapon kereskedelmi storage-ot kínál több, kevesebb sikerrel.
Még mindig kimaradt az a rész, hogy ki alszik nyugodtabban: az, aki egy gyári megoldást toszogat supporttal a háta mögött, vagy az, aki összetákolt egy szervert maga, rá egy ZFS-alapú megoldást. Majd kérek egy képet az arcodról, amikor a szőnyeg szélén állsz és magyarázol.
trey @ gépház
- A hozzászóláshoz be kell jelentkezni
Jaj, dehogy kell erre pár száz millió! Ha te csak ezt látod, akkor átbasztak!
Nem tehetek arról, hogy eddig nem sikerült garázscégeknél dolgoznom, csak olyan helyeken, ahol mindig nagyobb cuccokra volt szükség.
Ja, Shadow copy of Shared Folders, aztán az user maga is vissza tudja tenni. Maga válogathat a verziók közt Ne szédíts már!
Egyre kevésbé értem, hogy jutottunk el attól, hogy a ZFS snapshotjai helyett mit kellene használni a virtuális gépekről kiadott, blokkos eszközön létrejövő snapshotokon át egy Windows feature-ig.
Úgy, hogy a mögötte álló cég az, amelyik ZFS alapon kereskedelmi storage-ot kínál több, kevesebb sikerrel.
A ZFS messze nem hibátlan, fent épp ezt írom. De egy ilyen hibát idehozni szerintem masszív trollkodás, főleg, hogy leginkább semmi köze a ZFS-hez.
Még mindig kimaradt az a rész, hogy ki alszik nyugodtabban: az, aki egy gyári megoldást toszogat supporttal a háta mögött, vagy az, aki összetákolt egy szervert maga, rá egy ZFS-alapú megoldást. Majd kérek egy képet az arcodról, amikor a szőnyeg szélén állsz és magyarázol.
Toszogattam gyári megoldást eleget. Ha nem lennének személyiségi jogok, küldhetnék is akár képet a gyári support kiküldött szerencsétlenjeiről, akik éjszaka ott izzadtak, hogy össze tudjanak tákolni valamit abból a cuccból, aminek ők sem értik a működését, mert nem csak hogy forráskódhoz nem juthatnak hozzá (sokszor felesleges is lenne, mert úgysem értenék), de azt is tilos érteniük, hogy működik az általuk támogatott szarkupac. Vagy hónapokig tartó post mortem levelezéseket amerikai gigacégek menedzsereivel és műszaki embereivel, akik először próbálták a userre kenni a szart, aztán hogy-hogynem kiderült, hogy szép csendben javították a hibát egy későbbi FW-ben, aminek a létezését is tagadták.
Szerintem te alszol nyugodtabban, mert a tradícionális enterprise üzemeltető mentalitásod van, azaz a főnökeid kicsengették a pénzt a supportra, neked csak annyi a dolgod, hogy a fények villódzását nézegesd, meg a diszkeket cserélgesd, meg ne nyúlkálj túl sokat a gombokhoz :) Ha valami beszarik, majd jön a support és megoldja jó pénzért, nem a te dolgod.
- A hozzászóláshoz be kell jelentkezni
Hosszú mondatok a semmiről.
Szerintem te alszol nyugodtabban, mert a tradícionális enterprise üzemeltető mentalitásod van, azaz a főnökeid kicsengették a pénzt a supportra, neked csak annyi a dolgod, hogy a fények villódzását nézegesd, meg a diszkeket cserélgesd, meg ne nyúlkálj túl sokat a gombokhoz :) Ha valami beszarik, majd jön a support és megoldja jó pénzért, nem a te dolgod.
Nincs egy hete, hogy éppen tákolt storage-ot raktam rendbe. Úgy látszik, szelektív a szövegértésed. Nekem van tákolt, értek is hozzá és brand is. Mindegyiknek tudom a helyét és szerepét. A ZFS-alapú, memóriazabálónak nem látom a szereplét.
Zárjuk rövidre: ha lenne lehetőséged gyári, supporttal rendelkező storage üzemeltetésére illetve ott lenne a mezítlábas tákolt megoldás egy business critical workload mellett, melyiket választanád?
trey @ gépház
- A hozzászóláshoz be kell jelentkezni
Asszem te szoktál ilyenkor így válaszolni:
thread nyitó:
https://hup.hu/comment/2474492#comment-2474492
BTRFS? Vagy szenvedés az LVM snapshottal?
Erre keresi a választ az OP, erre jöttél a virtuális gépeiddel, meg a Windowszal. A szövegértéssel szerintem neked vannak problémáid.
- A hozzászóláshoz be kell jelentkezni
Most úgy érzem kicsit, hogy kezdesz kihátrálni az egyenes válaszadás alól. Tőlem mehetsz!
trey @ gépház
- A hozzászóláshoz be kell jelentkezni
Te terelsz mindenfelé.
De szívesen válaszolok:
Ha enterprise/kisvállalati környezetben dolgoznék, mint te, akkor megmondanám a főninek, hogy vegyen ilyen-olyan storage-ot, ami a legjobban integrálódik a használt környezethez.
Ha olyan helyen dolgoznék, ahol kapacitás is kell, és a vállalati integráció már egyáltalán nem számít, hanem inkább az, hogy a kezünkben legyen a képesség arra, hogy megoldjuk a problémákat, úgyis valamilyen elosztott megoldás jönne képbe, mivel enterprise storage-re ebben a szegmensben már senki sem költ, nekem sem jutna eszembe.
- A hozzászóláshoz be kell jelentkezni
Akkor neked eszedbe jut a ZFS ami "Jó lesz ez a ZFS úgy 10 év múlva. :) Addigra talán a hardver is felfejlődik hozzá.". Ügyes gyerek vagy. Vagy ez a kommented kuka, vagy a másik.
De azért köszi, hogy aláírtad, számomra a ZFS+tákoltnál a gyári jobb választás. Hiszen az eleje óta erről beszéltem.
trey @ gépház
- A hozzászóláshoz be kell jelentkezni