Merevlemezek, vezérlők

SATA lassú vagy

Bocs a béna címért, de kifutottam az ötletekből.
Van egy kis, öregecske házi szerverem.
Alaplap: ga-eq45m-s2
CPU: Quad 2 Core 2,66GHz
RAM: 8G DDR2
HDD: 2x1G WD10EZRX Raid1 (rendszer, swap és home) + 2G WD20EARS egyebek
+ egy beépített mobil rack a mentéshez
Az alaplapon 6 SATA 2 port van, a három diszk jól működött.
Az igencsak elavult Debian 6 -ot 10 -re akarom cserélni.
Bedugtam egy 120G SATA 3 SSD(!) a mobil rackbe (nem túl jól illeszkedett).
Elkezdtem arra telepíteni, hogy majd ha OK akkor átnyomom a raid -re.
Számos furcsa viselkedés után (konkréte szétesett a tükör úgy, hogy egy diszket is kicseréltem). Előfordult olyan is hogy már a BIOS nem látta az első portba dugott diszket (tükör fele). Úgy döntöttem kicserélem az SSD -t egy böcsületes SATA2 diszkre, a mobil rack -be. Rámásoltam az addig elmentett félig sem kész Debian 10 telepítést. Most a műveletet egy USB -re telepített RescueCD -vel csináltam. A másolás szépen megtörtént.
Következett a mutatvány, újra húzni a lilo -t.
Szerkesztgetés közben (lilo, fstab) érzékeltem, hogy az mc reakció idejei furcsán lassúak (több másodperc míg elment egy pár kB szöveges fájlt. Aztán végül a lilo, több mint 10 percig mókolt ki tudja min. Majd miután elindítottam (BIOS -ból) kiválasztottam melyik lemezről bootoljon, beugrott a menü enter kiírta az image címkéjét és megállt. Kipróbáltam, hogy kiveszem a diszket a mobil rackből és egy másik portra kötöm közvetlenül, ugyan az a jelenség.
Be bootoltam a régi rendszert és csak 1G zero írást ellenőriztem a gyorsabb volt mint a tükör (home), semmilyen lassulás nem volt.
Sajnos a "vendég" diszken nem tudom a rendszer partíciót tesztelni, mivel a régi rendszer nem tudja kezelni azt új ext4 -et.
A RescueCD naplózása nulla.
Most talán megpróbálom a vendég diszkre szüzen feltelepíteni a Debian 10 -et, már ha nem lesz olyan lassú hogy elvesztem a türelmemet.
Van még valamilyen ötlet?

SATA, SAS, NVMe queue depth, performancia

Sziasztok!

Kollégámmal elindultunk egy témában és elfogyott a tudásunk és a google kulcsszavunk.
Hogyan alakul egy terhelt 50 VM-et kiszolgáló performanciája, ha SATA vagy SAS vagy NVMe alkotja a diszk alrendszert.

Amennyit kibogoztunk:
SATA: 32db queue-ja van, minden queue-ban csak single command lehet
SAS: 256db commandot tud kezelni minden egyes queue-ban, de azt nem találtuk meg, hogy hány queue-ja van
NVMe: max. 64k queue-val rendelkezik és mindegyikben max 64k command lehet

A nap fő kérdése:
Kb hány %-os performancia javulásra számíthatunk, ha SATA SSD helyett SAS SSD-t használunk?

Bővebben kifejtve a gondolkodásunkat:

A RAID vezérlő beleszól a játékba, az egyes mediak esetén mennyit ront/javít?
A RAID vezérlők perormanciáját mennyit javítja, ha az alatta lévő hardvernek nagyobb queue-ja van (SATA/SAS)?
Hosszú listák vannak arra, hogy az egyes vezérlők milyen queue-val rendelkeznek (32-1000 queue).

Ha van 2db 4TB-s SSD RAID 1-ben. A HDD-hez képest nagy IOPS, I/O sebesség, tehát nem kell belőle egy tucat RAID-be kötve, hogy javítsak az IOPS és I/O értékeken.
Azon az egyszem SATA porton terhelem az SSD-t, nem lesz szűk keresztmetszet a SATA szerény queue-ja miatt?
SAS SSD esetén mekkora javulás várható SATA-hoz képest?

NVMe-t most hagyjuk, az egy állat, minden problémát megold, de most a SATA, SAS van górcső alá véve.

hol van 16G ?

Nem biztos jó helyre írom. Ha rossz majd kijavítotok.
Van egy 3 éves ADATA SX 930 128 G SSD, amin az egyik partíción van egy Linux (a boot ugyan ezen az ssd-n egy másik partíción).
A partíció mérete 68G. Ha megnézem fájlkezelőn, a "/" 28G méretű, viszont szabad helynek csak 24G-t ír ki. Hol van a maradék 16G?
A fájl rendszer XFS. A smartmontools szerint ok, 5076 h on_power.
Előre is köszönöm.

VAXstation 2000 MFM winyó kiváltása

Sziasztok!

Van egy VAXStation2000-em amiben döglődik az MFM winyó (~1500BS-nál jár, már bootolni se tud rajta az ultrix). Valakinek van tapasztalata a kiváltásával kapcsolatban?

Gondolkoztam MFM emulációban, pl.: https://www.drem.info/ . Elméletileg támogatja az RQDX3-at szóval akár mehetne is.

Valahogy rávenni, hogy SCSI diszkről töltse be az OS-t: http://martin.brenner.de/vaxstation2000.html#SCSI

Használjam diskless és próbáljak meg hálózatról bootolni? Ultrix, VMS nem tudom mennyire díjazza ezt, NetBSD biztos megy. Ezt viszonylag olcsón tudom tesztelni, inkább az MFM winyó kiváltására lennék kíváncsi. :)

Illetve nyilván lehet, hogy szerzek egy beleillő hibátlan MFM diszket. De ennek az ára szerintem vetekszik az mfm emulációjával.

Ha valakinek van tippe, ötlete az ne tartsa magában. :)

16 X SAS: RAID 5, 6, 50, 60?

Sziasztok!

Adott 16db 300GB 15k RPM SAS diszk.
Anno bizalmatlan voltam ennyi diszkkel, így RAID-6 helyett RAID-60-ba konfigoltam, hogy több vinyó meghibásodást elviseljen.
Úgy tűnik felesleges volt. 10 év alatt 3 meghibásodás volt.
Így lazítanék a túlbiztosításon, + több hely is jól jön. (Azt most hagyjuk, hogy vegyek nagyobb diszkeket, ezzel kell főzni, amíg mennek).

A következők szerint ötleteltem, javítsatok, ha logikai hibás:
RAID 5: hiába megbízható a SAS, kicsit oroszrulett ennyi vinyóval
RAID 5+spare: a jelenlegi RAID60-hoz képest jobb a teljesítménye, több hely, hajlok rá
RAID 50: a jelenlegi RAID60-nál gondolom jobb teljesítménye lenne, 2 megfelelő helyről kiesett vinyót elvisel
RAID 6: legalább annyira hajlok erre is, nem kell aggódni a rebuild alatti kiesésre, bár 300-as SAS-nál nem lehet sok idő, viszont a RAID 5(+SPARE) jobb teljesítményt ad

Ami még nem tiszta: RAID 6 vs 60 csak annyiban különbözik, hogy több vinyó kiesést elvisel, vagy teljesítményben, rebuild időben is van változás?

Ez egy VPS kiszolgáló. Idővel biztos cserélve lesznek a diszkek, de még a polcon van 6 másik tartalék. Máshova már nem tudnánk felhasználni ezeket.

Te hogyan raknád össze a raidet?

50-60 TB "ritka", de akkor gyors elérése

Sziasztok,

A következőre keresek megoldást.

Sajnos, nincs rendszertervezési és üzemeltetési ismeretem, ezért előfordulhat, hogy h.ly.ségeket írok, rosszul gondolkodom.

Filmgyártásban dolgozom vágóasszisztensként, elsősorban nagyjátékfilmekben, ill. tévés sorozatokban.
Manapság majdnem minden "videóra" forog, legtöbbször valamilyen Arri vagy RED kamerára, így sok-sok TB tárolására van szükség.Maradjunk a sorozatoknál. Egy-egy sorozatnál, azaz évadonként 8-10 epizódnál, kb. 50-60 nap forgatási nap van, többnyire két kamerával.
Egy nap kb. 1TB-nyi anyag "keletkezik", (kameránként) kb. 60-80 felvétel, a kép általában ProRes, pld. 3K/ProRes444 esetén kb.750 Mbps-es bitrate-tel, tehát GB-os nagyságrendű fájlokról van szó, ill. felvételenként külön sok sávos hang (24 bit/48 kHz-ben) is rögzítésre kerül, azok mérete pár tíz MB-ról pár száz MB-ig terjed, ill. mellette pár kisebb fájl keletkezik (tíz kb-os nagyságrendben), pld. minden fáljhoz készül pld. xxHash64-es "ellenőrző kód", de "kártyánként" 1 fájlba.

A napi helyszíni mentést az ún. "Data Wrangler", vagy esetlegesen a "Digital Imaging Technician" (DIT) végzi, általában HFS-re formázott diszkre, amiből "később" 2-3 további mentés készül, játékfilmnél LTO-ra is, ez utóbbi sorozatoknál/kisjátékfilmeknél/dokumentumfilmnél nem jellemző.

Sorozatoknál/kisjátékfilmnél/dokumentumfilmnél a gyártó cég általában mindenen spórol, ezért sokszor a vágóasszisztens csinálja a helyszínről megkapott diszkről a mentést 2-3 példányban, pld. dokkolóban belső diszkekre. Azaz 60 nappal számolva, 1 TB/nap esetén, 3 TB-os diszkeket használva, 2 példányban, 2x20 diszkre fér el a forgatott anyag.
Emiatt (is) nem szokás közvetlenül a forgatott anyagot vágni, hanem a vágóasszisztens transzkódolja azt ún. offline-ra, például DNxHD36-ra vagy DNxHD120-ra (24 fps-nél DNxHD115-re), amit megkap a vágó.

Pár hónap, az ún. picture lock után (mikor elfogadják a végleges a képet), általában a vágóasszisztens konformálja a fényeléshez az anyagot, a colorist megkapja vagy az eredetit "összevágva", vagy vele egyenértékűt mondjuk DNxHD-ban (Windows-os környezetben "hivatalosan" nem lehet ProRes-t írni, ezért az utóbbi eset).

Jó lenne, ha a forgatott anyagot (annak az egyik mentését) egy (vagy minél kevesebb) kötetként kezelni, azaz "megszabadulni" az önálló diszkekre mentéstől, és esetlegesen mondjuk RAID5-ben tárolni.

Amik eszembe jutottak:
- valamilyen NAS, ekkor gyakorlatilag semmilyen "extra" szolgáltatást nem használnék, és ezt így luxusnak tartanám, de az az előnye meglenne, hogy esetlegesen bővíthető,
- valamilyen igazából NAS-hoz tervezett, de önmagában kezelhető külső házas megoldás, pld. QNAP TR-004, ebbe talán(?) beleférne 4 darab 10 TB-os diszk, azaz egy egységben 30 TB lenne a "hasznos", meg kellene 1 tartalék diszk is egységenként. Ha az első egység betelik, akkor lekapcsolom, és veszem a következőt (vagy kiveszem diszkeket). Ami nem derül ki számomra, hogy valójában mekkora diszkeket tud kezelni. Hátránya lehet, hogy kellene egy tartalék eszköz,
- valamilyen erre a célra tervezett, sok lemezes külső ház, pld. ICY BOX IB-3680SU3, ekkor nincs RAID, csak JBOD, itt is felmerül a tartalék eszköz kérdése (de lehet, hogy ezzel nem foglalkoznék, mert ugye lenne 2 másik mentésem),
- hasonló az előzőhöz, de RAID támogatással, pld. ICY BOX IB-RD3680SU3, de itt nem tudom értelmezni a 2xRAID5-öt, ez azt jelenti, hogy a 8 lemezt, 2 darab 4 lemezes RAID5 tömbnek látnám, azaz 2 kötet lenne?
- vagy veszek pld. Z400 munkaállomásokat, vagy hasonló régebbi gépeket (30 EFt-ért már kapható Z400-as), és belerakok 4 diszket, Windows alatt IRST-vel szoftveres RAID-et csinálnék, tudtommal az IRST 4 diszket tud lekezelni, de itt sem találtam információt, hogy mekkorákat, ha betelik az egyik "gép", akkor lekapcsolom (a hálózatról), és veszem a következőt,
- hasonló az előbbihez, de veszek RAID kártyá(ka)t, azaz hardveres RAID-et csinálok,
- vagy veszek valamilyen szervert, pld. DELL POWEREDGE T320, ekkor "kellene" egy tartalák H710-es vezérlő, ill. nem világos számomra, hogy az mekkora diszkeket kezel, lehet-e mind a 8-at egy kötetként kezelni, vagy ez OS függő, stb.?
- nem tudom, hogy valamilyen storage szóba jöhet-e (nem értek hozzá), kell-e szerver egy pld. DELL EQUALLOGIC PS3000XV SERIES 3.6TB SAS-hez, vagy "önmagában" használható, vagy eleve "zsákutca", mert a 3,6 TB azt jelenti, hogy 12x300 GB-os diszket tud maximálisan kezelni?
- vagy...

"Nyilván" elsősorban anyagilag szeretném optimalizálni, azaz 1TB tárolását minél kevesebb pénzből megoldani.

A helyzetet "bonyolítja", hogy "elöző" évről van "sok" 3TB-os diszkem, amiket szeretnék esetlegesen felhasználni, de ez másodlagos szempont.

"Beüzemeltetésért" fizetnék is, ha arról van szó.

Minden hozzászólást (a kioktatást is) előre is köszönök,

ps.: vannak erre a célra profi megoldások (pld. LaCie 12big Thunderbolt 3 72TB (7200RPM) Enterprise HDD), de számomra megfizethetetlenek, még hosszú távú beruházásként is.

Alaplap - Raid 1

Sziasztok

Kaptam egy olyan feladatot, amitől nem vagyok nagyon boldog. (könyvelő gép - Windows 10)

Adott Asrock AB350m pro4 alaplap.

A terv az, hogy m.2 – ről induljon a gép, és legyen benne + 2db SSD amit tükrözni kéne. (adat kötet) Nem bonyolult feladat. Igazából nekem ellenszenves ez a dolog, mert mindig is lenéztem ezeket a vezérlőket. Amolyan tákolás érzésem van. Lebeszélni nagyon nem tudom, mert tapasztalatom semmi az alaplapi csodákkal. Soha nem jutott volna magamtól eszembe még a vicc kedvéért sem kipróbálni ezeket.

Tudnátok nekem tapasztalatot írni. Mennyire kacat kategória, vagy már esetleg az évek múlásával átestek e a használható vonalba?

Milyen hibákkal számolhatok pl. disk hiba esetén? Össze firkálja majd nekem a lemezeket és agyvérzés lesz leszedni róla az adatokat? vagy ... vagy... vagy... bármi gondolatot szívesen meghallgatnék.

Előre is köszönöm szépen az építést.

A gép nem mindig látja az ssdt...

Sziasztok.

Adott 1 gépezet ami nem minden bekapcsoláskor látja az ssd meghajtót. Ahhoz,hogy észrevegye teljesen ki kell kapcsolnom, majd újra be. (nem reboot)
- Sata kábelt cseréltem.
- Amikor nem látja a biosban akkor is ott van csak a vezérlője nevén (t8...)
- Az alaplapon a biost a legfrissebbre tettem (F10 - GA-MA78LMT-US2H)
- Ha egyszer meglátta (esetek 50%-a) és elindul akkor akár egész nap is elvan a gép. Játék video stb.

Valamilyen ötletetek esetleg amit ki lehetne próbálni?
Köszönöm szépen.

SSD (valós) Total Bytes Written Linux alatt

Sziasztok!

Szerettem volna utánanézni az SSD-m elhasználtságának. A GSmartControl, valamint a smartctl alapján nem valós értékeket kapok:

smartctl /dev/sdb --all | grep Total_LBAs_Written
241 Total_LBAs_Written 0x0000 100 100 000 Old_age Offline - 47521
smartctl /dev/sdb --all |grep "Sector Size"
Sector Size: 512 bytes logical/physical
smartctl /dev/sdb --all |grep "SU"
smartctl 6.6 2017-11-05 r4594 [x86_64-linux-4.12.14-lp150.12.61-default] (SUSE RPM)
Device Model: ADATA SU800
smartctl /dev/sdb --all | grep Power_On_Hours
9 Power_On_Hours 0x0000 100 100 000 Old_age Offline - 1439

A fenti adatok szerint eddig 23 megabájtot írtam az SSD-re, ami nem tűnik valósnak :-)

Hogyan kaphatnék - Linux alatt - valós adatokat? Esetleg másik Linux alatt, USB-ről bebootolva?
Le lehet-e ezeket a SMART attribútumokat valahogy nullázni?

Köszi előre is a válaszokat!

SMART adatnak higgyek vagy a szememnek? :O

Egyszer volt hol nem volt egy Synology NAS, WD RED diszkekkel (kapacitás mindegy).
A lemezek kikerültek belőle. Berakva egy sima mezei gépbe, win10 64, HD sentinel azt bírja mutatni, hogy cc 15000 ki/bekapcsolás van 1300 munkanap mellett. Ez nem csek elvileg, hanem fizikailag sem túl meggyőző, senki nem kapcsolgatta ki a nast négyszer/nap éveken keresztül.

Ötlet?