ZFS Fan Club

zfs Dell PowerEdge R740-en

Fórumok

A meglévö Dell PowerEdge R740 szerverhez vettünk két másikat.  (Jelenleg mind a 3 gép szabad, mert a rendszerek régebbi gépeken mennek.)

Proxmox 7.1-et akarok rájuk telepíteni, ha lehet zfs fájlrendszer használatával. Edig a Proxmoxot LVM köteteken ext4 fájlrendszeren használtuk, de szeretném kihasználni a zfs előnyeit.

Sajnos a beépített RAID vezérlők nem azonosak. A régiben PERC 9 H730P mini van az újakban PERC 11 H750.

A H730P esetében át tudom állítani RAID módból HBA módba a vezérlőt, de a H750-esnél nem.
Viszont mindegyiknél be tudom állítani, hogy a lemezek Non-RAID módban legyenek és így a telepítő látja is egyenként az összes lemezt.
A PERC 11 kézikönyv erről ennyit ír:  "Non–RAID disks: A non–RAID disk is a single disk to the host, and not a RAID volume. The only supported cache policy for non–RAID disks is
Write-Through." 

Jól gondolom, hogy ez azt jelenti, hogy olyan cache-t használ, amiből nem lehet adatot addig visszaolvasni, amíg ténylegesen ki nem íródik a lemezre és csak a kiírás után jelzi, hogy befejeződött a művelet?

Ez megfele-e a ZFS-hez vagy már ez a Write-Through cache is megzavarja a működését?

Azt tudom, hogy a zfs direktben szereti kezelni a lemezeket.
Nem akarok kockáztatni, jó lenne ha zfs-en működne a Proxmox, de ha nem megy akkor jó lesz a HW-RAID is és a Proxmox LVM köteteken, ext4 fájlrendszeren megy majd.

[Megoldva] Debian 11 + Proxmox VE 7 + ZFS: no pools available

Fórumok

Debian 11 + Proxmox VE 7
Szerver újraindítás után nem mindig jön fel a zfs pool. Ilyenkor (néha többször is) újraindítom és megint használható a zfs pool.

# zpool list
no pools availabl
# fdisk -l #(részlet)
Disk /dev/nvme3n1: 1,75 TiB, 1920383410176 bytes, 3750748848 sectors
Disk model: SAMSUNG MZQL21T9HCJR-00A07              
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 131072 bytes / 131072 bytes
Disklabel type: gpt
Disk identifier: B00FD358-9035-144C-BFDB-B4CCD7CFE81C

Eszköz              Start       Vége  Szektorok  Size Típus
/dev/nvme3n1p1       2048 3750731775 3750729728  1,7T Solaris /usr & Apple ZFS
/dev/nvme3n1p9 3750731776 3750748159      16384    8M Solaris reserved 1


Disk /dev/nvme2n1: 1,75 TiB, 1920383410176 bytes, 3750748848 sectors
Disk model: SAMSUNG MZQL21T9HCJR-00A07              
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 131072 bytes / 131072 bytes
Disklabel type: gpt
Disk identifier: 68339494-26D3-354D-A8B8-C8D39E3A6290

Eszköz              Start       Vége  Szektorok  Size Típus
/dev/nvme2n1p1       2048 3750731775 3750729728  1,7T Solaris /usr & Apple ZFS
/dev/nvme2n1p9 3750731776 3750748159      16384    8M Solaris reserved 1
# apt install -y zfsutils-linux

paranccsal telepítettem a ZFS-t. Csak a zfsutils-linux csomagot tettem fel a szerverre, Kell esetleg a zfs-dkms, a zfs-dracut, vagy a zfs-initramfs, esetleg bármi más?

1. Mit tegyek, hogy normálisan működjön minden újraindítás után?

2. Amikor nem áll helyre a pool, hogyan tudom importálni, vagy életre kelteni? A partíciók látszólag rendben megvannak.

Megoldás itt arra, ha exportálás nélkül újratelepítés után nem áll helyre a pool.
Köszönet @hunti

Megoldás
Köszönet @sibike

Köszönöm szépen mindenkinek a rengeteg hasznos infót és az ötleteket. Ma is sokat tanultam... :)

ZFS lemezek másik gépben, másik rendszerben

Fórumok

Van 4 db 1TB-os lemezem, amit Ubuntu 20.4-en ZFS raidz1-ben használtam, asztali gépben. A rendszer egy 256GB-os m.2 SSíD-n volt.
A ZFS tömböt ADz néven hoztam létre és a /-be volt csatolva.

Miután vettem egy másik gépet egy ASRock Deskmini X300 barebone-t, azt keztem el használni asztali gépnek.
Erre Fedora Linux került, amit már frissítettem is 35-re.
A régi asztali gépet átépítettem és más célra használom, de a 4 db 1TB-os lemezt amin a ZFS tömb volt, (van) félretettem.

Most elővettem a 4 db 1TB-os lemezt és betetem 2 db USB-3-as dual dokkolóba és csatlakoztattam ehez a géphez.
Sajnos a Fedora 35-ben nincs igazi ZFS csak zfs-fuse.

Eddig jutottam a Linux terminálban:

sudo zpool import
[sudo] dejo jelszava: 
  pool: ADz
    id: 7982237493426612806
 state: UNAVAIL
status: The pool was last accessed by another system.
action: The pool cannot be imported due to damaged devices or data.
   see: http://www.sun.com/msg/ZFS-8000-EY
config:

    ADz                                                            UNAVAIL  newer version
      raidz1-0                                                     ONLINE
        disk/by-id/ata-WDC_WD10EZEX-08WN4A0_WD-WCC6Y6NRXKZR-part1  ONLINE
        disk/by-id/ata-WDC_WD10EZEX-08WN4A0_WD-WCC6Y0EZ2TZR-part1  ONLINE
        disk/by-id/ata-WDC_WD10EZEX-08WN4A0_WD-WCC6Y1UZKD6S-part1  ONLINE
        disk/by-id/ata-WDC_WD10EZEX-08WN4A0_WD-WCC6Y6LCYZA4-part1  ONLINE

Erre mi a megoldás? Merre keresgéljek?

ZFS - használatban lévő lemez tükrözése

Fórumok

Sziasztok!

Elnézést, ha rosszul kerestem és nem találtam a választ! A nyűg az lenne, hogy van egy single zfs pool és szeretnék mirror-t belőle adatvesztés nélkül.

Ehhez vettem  még egy ugyanilyet:

zpool status nvme
  pool: nvme
 state: ONLINE
config:

    NAME                                        STATE     READ WRITE CKSUM
    nvme                                        ONLINE       0     0     0
      nvme-KINGSTON_SNVS2000G_50026B7684F6751F  ONLINE       0     0     0

errors: No known data errors

 

és szeretném, ha tükrözve lenne az adat az /dev/nvme0n1 /dev/nvme1n1 között

Op. rendszer debian

fdisk -l:

Disk /dev/nvme0n1: 1.82 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: KINGSTON SNVS2000G                      
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/nvme1n1: 1.82 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: KINGSTON SNVS2000G                      
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: 4FF2019D-E8DF-7846-958D-CE474ABAE53D

Device              Start        End    Sectors  Size Type
/dev/nvme1n1p1       2048 3907012607 3907010560  1.8T Solaris /usr & Apple ZFS
/dev/nvme1n1p9 3907012608 3907028991      16384    8M Solaris reserved 1

 

ps.:

Nagyon kezdő vagyok zfs terén, minden segítséget köszönök!
 

ZFS backup&restore

Fórumok

Van egy Debian 10-em, zfs-dkms 0.7.12 csomaggal. Van benne egy SSD és 4 HDD. A tank nevű pool a 4 HDD-n terül el raidz2-vel, és lognak használ egy partíciót az SSD-n. Az SSD-n egy másik partíción van az rpool pool, ezen van a rendszer, redundancia itt nincs. Fent van a zfs-auto-snapshot csomag is, tehát van végtelen mennyiségű snapshotom. Az rpool így néz ki:

root@hp:~# zfs list
NAME                            USED  AVAIL  REFER  MOUNTPOINT
rpool                          11.1G  50.2G    96K  /
rpool/ROOT                     10.7G  50.2G  4.50G  /
rpool/var                       280M  50.2G    96K  /var
rpool/var/log                   280M  50.2G  33.8M  /var/log

Szeretnék Debiant frissíteni, és ebből továbbgondolva két teljesen kezdő kérdés merült fel bennem:

  • Ha elkefélem a frissítést (mert pl. nem fordul bele a DKMS csomag az új kernelbe, láttam már ilyet), hogyan tudok visszaállni működő snapshotra? Ha a grub-ig eljutok, ott még talán be tudok bootolni egy readonly snapshotról, de hogyan tovább?
  • Mi van, ha bukom az egész SSD-t (véletlen gyalu, vagy akár későbbi hardver hiba miatt)? Mit fog szólni a tank, ha elszáll a logja? Hogyan érdemes olyan backupot csinálni az rpool-ról, amit simán vissza tudok rakni egy új SSD-re?

Amúgy készenlétben tartok egy pendrive-ot, amin van fent kb. ugyanilyen verziójú Debian, be van lőve, hogy tudjon VirtualBoxon és a szerveren is bootolni (UEFI miatt nem volt triviális összerakni), tehát parancssort mindenképpen tudok magamnak varázsolni.

ZFS sok kis file írás lassú

Fórumok

Hello

Van egy config 15G ram, 24cpu

ilyen felállásban

<code>

NAME        STATE     READ WRITE CKSUM
        data_pool   ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            sdb     ONLINE       0     0     0
            sdc     ONLINE       0     0     0
          mirror-1  ONLINE       0     0     0
            sdd     ONLINE       0     0     0
            sde     ONLINE       0     0     0
          mirror-2  ONLINE       0     0     0
            sdf     ONLINE       0     0     0
            sdg     ONLINE       0     0     0
          mirror-3  ONLINE       0     0     0
            sdh     ONLINE       0     0     0
            sdi     ONLINE       0     0     0

</code>

 

Ha kitömörítek mondjuk egy tar-t amiben sok kis file van akkor az lassú. Több percig is eltart, míg az alap írási sebesség 200Mb/sec.

SSD cache nincs.

Min érdemes hangolni?

ZFS rosszul berakott diszk

Fórumok

Sajnos amikor be akartam tenni egy spare diszket a poolba elrontottam és kimaradt a spare paraméter. Sikerült a zpool add pool spare device helyett zpool add pool devide-t írni. Ettől bekerült felső szintre és már nem tudom kivenni, mert ONLINE

        NAME                                          STATE     READ WRITE CKSUM
        bckpstore                                     ONLINE       0     0     0
          raidz2-0                                    ONLINE       0     0     0
            ata-WDC_WD40EFZX-68AWUN0_WD-WX12D8003F7C  ONLINE       0     0     0
            ata-WDC_WD30EFRX-68EUZN0_WD-WCC4N5KDAH2E  ONLINE       0     0     0
            ata-WDC_WD30EFRX-68EUZN0_WD-WCC4N5KDALZF  ONLINE       0     0     0
            ata-WDC_WD30EFRX-68EUZN0_WD-WCC4N6CYHHKR  ONLINE       0     0     0
            ata-WDC_WD30EFRX-68EUZN0_WD-WCC4N6CYHS6N  ONLINE       0     0     0
            ata-WDC_WD30EFRX-68EUZN0_WD-WCC4N6EXR12J  ONLINE       0     0     0
          ata-WDC_WD40EFZX-68AWUN0_WD-WX12D8003SVR    ONLINE       0     0     0
 

Ettől persze értelmét veszítette a raidz2 a poolban.

Van valakinek ötlete arra, hogy a pool lebontásán és újra csinálásán kívül hogyan változtathatom spare-re a diszket?

ZFS, ubuntu 20.04. - Frissítési hiba és nem indul a gép...

Fórumok

Sziasztok,

sajnos sikerült valamit "javítanom" a serveremen, így most már nem indul el.

A file rendszer ZFS, ubuntu 20.04.

Hiba:

Van grub menu tudok választani, de ha elindítom, akkor megáll inintramfs promttal.

A hibát onnan származtatom, hogy próbáltam frissíteni a rendszert, de dobott egy hasonló hibát:

https://askubuntu.com/questions/1246502/ubuntu-20-04-with-root-on-zfs-e…

Probáltam helyre hozni, de a képlet mutattja nem sikerült:

Bootoláskor ezzel áll meg:

ALERT! ZFS=systempool/ROOT/ubuntu does not exist.

Kép a jelenlegi állásról:

https://ibb.co/yNxjTHV

Nagyon tovább nem merem javítani, kérdésem, hogy hogyan tudnám helyre hozni a rendszert?

Köszi!

Kalmi

UBUNTU 18.04 ZFS rendszer redundancia tesztelése

Fórumok

Sziasztok,

tesztelem Virtualbox ban az UBUNTU 18.04 ZFS rendszer a telepítés redundanciáját. Jelenleg két virtuális diskre tettem fel a rendszert. Alap esetben hiba nélkül indul el az Ubuntu. Ha kiveszem az sda lemezt, akkor a következő hiba jön fel. Ha nem szakítom meg esc-el, akkor rendben elindul a rendszer. Kérdésem, hogy mi lehet a baja?

https://ibb.co/C81Q2Tw

Néztem a journalctl -xl, de nem láttam olyan hibát, ami ezt okozza. Persze kezdőként lehet van, de nem látom :)

Köszi előre is!

Kalmi

Lassú ZFS

Fórumok

Sziasztok!

Freenas rendszerrel összeraktam egy storage szervert ami a a következőképpen néz ki:

HP DL380E G8
64GB DDR3 1333mhz memória
Xeon E5-2450L
LSI 9207-8i HBA
Qlogic QLE2562 FC

Merevlemezek:
3DB HGST 6TB 4Kn
2DB Seagate Enterprise capacity 6TB 512e
2DB Seagate EXOS 7E2 6TB 512e

A probléma a következő:

FC-n oda van adva egy ESxi host-nak egy zvol.

Ha szintetikus teszteket végzek rajta (RDM vagy VMFS-el) akkor teljesen rendben van a sebesség 820MB/s olvasás és írás (Q8 1MiB) Atto diskmark-al úgyszintén rendben vagyunk. [benchmarkok]

De ha elkezdek másolni rá fájlt egy ssd-ről akkor elindulunk szép nagy sebességgel majd lecsökkenünk folyamat 50-80MB/s közé de van, hogy ez alá is lemegy, szerintem többet kéne tudnia.

Nincsen SLOG/L2ARC beállítva most még csak szeretném ezek nélkül kipróbálni, hogy mit produkál.
Próbáltam már sync=disabled -el azzal nagyon halványan növekedett csak.

Valahogy ezt a sebességet kevésnek érzem ennyi merevlemeznél.

Köszönöm a segítséget