"A RAM az új diszk"

Hardver

A Quora kérdezz-felelek szolgáltatás műszaki igazgatója, Nikhil Garg blogján azon mereng, hogy újabban a RAM az új diszk. Mint írja, húsz évvel ezelőtt a RAM nagyon drága volt, míg a diszkek relatíve olcsónak számítottak. Ebből kifolyólag az adatok nagy részét lemezről szolgálták ki és csak kis hányaduk volt RAM-ban. Közben azonban eltelt 20 év és a RAM árak drámaian leestek:

The price per GB of RAM has come down by 6000x (!) between 1995 and 2015 [1] [2]. In fact, the price of RAM now is way lower than the price of disk 15–20 years ago [3]. Because of this, we are seeing larger and larger parts of the full dataset stored, manipulated, and accessed directly from RAM. AWS has boxes that contain ~2 TB of RAM! Yes, that’s a fucking T and not a G! At Quora, we too routinely use AWS boxes with 100+ gigs of RAM.

További részletek itt.

( uid_16313 | 2017. 07. 31., h – 16:07 )

Teljesen jogos és logikus.
Sokkal nagyobb jelentösége lesz viszont a szünetmentes üzemnek, az adatvesztések elkerülése miatt.
Arra leszek kíváncsi, hogy plusz atomerömüvek nélkül mi fogja kiszolgálna a folyamatosan növekvö áramigényeket.

--
robyboy

Aztan amikor az amazon az osszes gepunket lebaszta, akkor hiaba lett volna RAM-ben 100+ node kozott az adat szetmaszatolva, buktuk volna mindet.
Persze ertem en, es jo tervezessel siman mehet a real-time adat frontendben (jo sok node-al) RAM-ban, amit mondjuk parrol folyamatosan flush-olgetunk diszkre (particionalva az adatot), majd mehet a regi lassu diszkekre.

A problema, hogy az ilyen infrastruktura bar jo gyors lesz a friss adatok elereseben, de 10+-szor tobbe fog kerulni, a gyorsasaga meg lehet nem lesz 10+-os.
Viszont az amazon nagyon jol jarhat. Meg a cloud szolgaltatok. :D

Nem kell, hogy az árcédula és a gyorsaság között 1.0 legyen a korreláció. :)

Nézzünk egy valós példát: van egy webshopod, ami meglevő ügyfelek esetén kb 30 másodperc alatt generálja le a legjobb upgrade offert. Ha tízszeres költséggel mondjuk 5 másodpercre tudod csökkenteni az időt, az már elég jó lehet, konkrétan mérhető volt a lemorzsolódás csökkenése, több lett a bevétel, elégedettebbek voltak az ügyfelek. Persze itt is olyasmi volt, amit írtál: nem az összes adat volt in-memory DB-ben, hanem ami releváns.

Termeszetesen jol hasznalhato a redis-szel egyetemben. De nalunk a cache hit 6% korul van, szoval ha kikapcsolnank gyorsitanank a rendszeren. Jo ez bigdata es harminc masodpercenkent invalidalnunk kell a "real-time" reszt. Szoval bar van, de lofaszt sem er. :)
Hidd el van itt par ember aki ert hozza, szoval nem vagyunk hulyek. :)

( Hiena v | 2017. 07. 31., h – 16:41 )

Jaj de jó! Jaj de jó! Innnooooovvvááááácccciiiióóóóó!!!! Újra feltalálták a ramdiszket!!!44444 Várjunk csak mintha ezt láttam volna alkalmazásként CP/M-hez (Silicone Disks 1980), vagy önálló OS komponensként (MS-DOS 3.0 1984, AmigaOS 1.3 1986). Várjunk csak, mintha úgy 15 évvel ezelőtt a webkávézóban, a játékok lemezeit nem toltuk fel a központi gép memóriájába, hogy gyorsabb legyen töltésidő, mikor rászabadult 4-5 kliens gép?
Szóval, már várom, mikor adnak neki valami nagyon hangzatos bullshit nevet és próbálják eladni szolgáltatásként...
--
"Maradt még 2 kB-om. Teszek bele egy TCP-IP stacket és egy bootlogót. "

Mármint, hol? Miért a webkávézóban nem volt gazdaságilag életképes, ahol ezáltal több klienst, gyorsabban lehetett kiszolgálni? Vagy a vékonykliensek millióiban, ahol netbootból töltött a rendszer és a ramdiszket használta a kliens OS-e a felhasználó filejainak/adatainak átmeneti tárolására? Vagy a gyártásban használt cleanslate rendszerű ipariPCk, amik szintén netbootról idultak és az adott állomás konfigurációját tárolta a hálózaton megosztott ramdiszk meghajtókon? Vagy eldobható szervereken, ahol pont az a cél, hogy áramtalanítás után nem maradjon adat a gépen?

A cikk arról szól, hogy most lett adatbázisok, big data és masszív adatmennyiségek kiszolgálására gazdaságos a RAM használata. Sőt, még arra s kitér, hogy masszív adatmennyiségeknél a véletlenszerű, össze-vissza ugráló memóriaolvasásnak ugyanúgy költségvonzatai vannak, mint egy merevlemeznél. Csak a valóság az, hogy ezek egyike sem új. Pageing architektúra és folyamatos címzésú architektúrák sebességkülönbsége vagy kicsi cache és nagy cache elágazáspredikciós költségvonzata ugyanezen témák kicsiben.

--
"Maradt még 2 kB-om. Teszek bele egy TCP-IP stacket és egy bootlogót. "

Mivel? Hogy az IT, egy magát nagynak képzelő, de a valóságban csak vékony szelete számára gazdaságossá vált, egy már 35 éve létező és az IT másik része által gazdaságosan használt technológia? Igen, egyetértek. Hogy ettől hanyatt esek? Nem.
--
"Maradt még 2 kB-om. Teszek bele egy TCP-IP stacket és egy bootlogót. "

( zdesigner | 2017. 07. 31., h – 23:08 )

Én 16 GB-nak is örülnék, de úgy lett tervezve a laptop, hogy csak 8-ig lehetett bővíteni. Jó, tudom, szerverekről van szó.

( Raynes v | 2017. 08. 01., k – 05:06 )

Valahol igaza is van az írásnak, de azért kicsit máshogy fog alakulni. Ugyanis az SSD-k is egyre nőnek és egyre gyorsabbak is, az NVMe-sek már nagyságrendileg megközelítették a RAM sebességét, ha még kicsit nőnek, gyorsulnak, és esik az áruk, akkor RAM sebességű drive-ok veszik át a terepet, de onnantól mindegy lesz, hogy valami swap fájlt használ, vagy memóriában van.

Már most is olyan gyorsak a gyakorlatban a SATA2, SATA3-as SSD-k is, hogy alig töltenek be lassabban az OS, programok, általában csak 1-2 másodperc különbségek vannak a ramdrive javára, szóval ezt a pontot már most is elértük. Benchmarkokban még gyorsabb a RAM, de az NVMe-s drive-ok már kezdik a RAM-ot itt is befogni, igaz még átlagban fele olyan lassúak, de ez a gyakorlatban csak ilyen 0,5 másodperces különbséget jelent a betöltési időknél (ha OS-ről vagy nagyobb programokról van szó). Ez amiatt van, mert az SSD-k elérték azt a kritikus sebességet, amikor már újra a proci sebessége a szűk keresztmetszet, nem lemezműveletek ideje (kivéve a szekvenciális sebesség, de ez lényegtelen átlag felhasználásnál, játékoknál, kódfordításnál, stb.). Ezt a kritikus sebességszintet már a SATA SSD-k is elérték, előtte HDD-m volt, és érzem bootkor, hogy a proci jobban felpörög, és az i5-ről i7-re váltás rövidített a bootidőn 2 másodpercet (ami kevésnek tűnik, de 7 másodperces bootidő rövidült 5-re, ami 40%-os gyorsulás). HDD-nél nem számított, mert a procinak úgyis várnia kellett a lassú lemezműveletekre, addig meg csak unatkozott.

A RAM csak annyiból más az SSD-khez képest, hogy akárhányszor lehet írni, nem fáradnak el a cellák, nem kell wear-leveling, emiatt egyszerűbben vezérelhetők, viszont áram alatt kell tartani őket, mert felejtenek.

Személy szerint megbántam, hogy a fő gépemben 16 gigára bővítettem a RAM-ot 8 helyett, mert nem használom ki. Úgy voltam vele, ha már fejlesztek, rászánom azt a kis különbözetet, kimaxolom a lehetőségeket (többet nem kezel a 2. gen. i7-es laptop), és le lesz róla a gond 5 évig. Befogtam 5 gigát böngésző- és fordítócache-nek, meg a Linux kernel befog minél több szabad memóriát fájlrendszercache-nek, de így sincs a memória kihasználva, igaz túl sok sem marad parlagon, de ennek sincs sok értelme, mert ha SSD-ről futna minden, és nem lenne cache, akkor sem lenne érezhetően lassabb.

Szóval legrosszabb esetben ez úgy fog történni, hogy vagy a RAM sebességű SSD-k fognak uralkodni, vagy megoldják a RAM-nál, hogy ne felejtsen, és azt használja majd a gép memóriaként és háttértárként is, rugalmas felosztásban, annyi részt használva memóriának, amennyire épp szükség van. Nyilván, ha valaki sok adatot fog rajta tárolni, akkor kevés memóriája marad.

„Pár marék nerd-et leszámítva kutyát se érdekel már 2016-ban a Linux. Persze, a Schönherz koliban biztos lehet villogni vele, de el kéne fogadni, ez már egy teljesen halott platform. Hagyjuk meg szervergépnek stb…” Aron1988@Proharder Fórum

Ez a betöltési idő nagyon beteges. Különösen szervereknél, amikor évente egyszer sem kell indítani. ;)

Az SSD az tök jó, kíválóan simul a fogyasztói társadalom hulladéktermelő természetéhez. Megfordítva, ha a normál diszkről RAMba töltenénk az adatokat, akkor megnőne a "boot" (adatelőkészítési) idő. Nagy ügy! Ezek után jóval kisebb órajellel járatott RAMokkal (kisebb fogyasztás) is el lehetne érni az SSD sebességét. "Mindössze" wear out tulajdonság nélküli eszközzel. Ez az ötlet sajnos nem elég parasztvakítós. :(

Az SSD borzasztóan kevésszer írható! A fenti gondolat nagyon jól passzol ahhoz az eredményhez, ami nem rég Intel datacenterbe való SSD és ipari SSD élettartamának összehasonlításakor jött ki. A mai rendszerekben a "piac által kitermelt legjobb" eszközöket kapcsolgatod össze. A kialakított megoldás látszólag lehet optimális. Pontosan.

Azért gondolj bele mi lnne, ha a világ más irányba haladna! Előhúznék a fiókból ugyanazért az árért kétszer gyorsabb és háromszor akkora diszket/RAMot. Egyszerűen nem XML-ben tárolnám az adatot. Ez a megoldás a processzort is kétszeresére gyorsítja.

Ez csak egy példa, de lehet köpködni! :-D

"Ez a betöltési idő nagyon beteges. Különösen szervereknél, amikor évente egyszer sem kell indítani. ;)"

Laptopnál nem árt, mostanában hibernálni szoktam sleep helyett, mert az SSD gond nélkül tud 500 MBps írás-olvasást, a 16GB memória legfeljebb fél perc alatt kiíródik.

"Az SSD borzasztóan kevésszer írható!"

És? A nagyobb storage használó cégek statisztikája szerint az éves meghibásodási arány SSD esetén kevesebb, mint HDD esetén. Ne tegyünk úgy, mintha a HDD fejmozgató mechanikája nem kopna... és ugye nem csak az írásnál kopik...

Vö. de 7 másodperces bootidő rövidült 5-re, ami 40%-os gyorsulás ... és a legfeljebb fél perc alatt kiíródik.
Okos gondolatok ezek.

Bizony, a HDD fejmozgató mechanikája kopik, viszont az írások száma ehhez képest úgy aránylik (gyakorlatilag)végtelen:2M:0,0185. (HDD:ipari SSD:Intel SSD "data center edition")

"Vö. de 7 másodperces bootidő rövidült 5-re, ami 40%-os gyorsulás ... és a legfeljebb fél perc alatt kiíródik."

Egyrészt maximum fél perc, ha tele van a 16GB, de nem szokott tele lenni és akkor 8-10 másodpercről van szó; másrészt a bootidő hiába gyorsul 7 másodpercről 5 másodpercre, ha utána az összes futó programot, adatbázist, konzolt, fejlesztőkörnyezetet meg kell nyitnom, ami több perc.

"Bizony, a HDD fejmozgató mechanikája kopik, viszont az írások száma ehhez képest úgy aránylik (gyakorlatilag)végtelen:2M:0,0185. (HDD:ipari SSD:Intel SSD "data center edition")"

Nem, nem végtelen a HDD esetén az írások száma... és bizony a HDD éves meghibásodási aránya három-négyszerese az SSD éves meghibásodási arányának. De igen, mindenki hülye, aki SSD-t tesz adatközpontba, csak bucko okos.

Az elejére én is ugyanazt írtam. Bár a fénysebességű SSD mellett miért tart percekig az eszközök megnyitása? ;)

A végtelen praktikus okokból az univerzum életkoránál jóval rövidebb intervallum. ;) Mint ahogy Te is, én is egy bizonyos felhasználásról beszélek. Ha sokat kell írni, akkor a HDD végtelenszer írható az élettartama alatt, az ipari SSD 3 évet (1GB!), az Intel SSD (300GB) 3..9hónap alatt megy tönkre. Ennyi.
Ezeket a bonyolult számokat más is igen nehezen fogadta be. :)

Igaz, az Intel Datacenter Edition SSD a maga 18500-as írhatóságával tényleg jó sokáig tart, de ha írogatni is kell, akkor inkább csak házi felhasználásra javasolható.

Az "éves meghibásodási arányt" nem igazán tudom képbe helyezni. A mai profi HDSentinel alapú diszk kezelésnél :)))) - idézek egy mai levélből: "Rossz a diszk. Nem lehet olvasni legalább egy szektort. ...ha egy diszket nem lehet teleírni és leolvasni az adatokat róla helyesen, akkor az hibás. Azt nem tudom, hogy garanciális-e, ez nem az én asztalom, de szakmailag indokolt a cseréje."
A kérdéses diszken 1db pending szektor volt. :-D

Visszatérve a konkrétumokra, ha egy szerver kategóriájú diszk várható élettartama 3 év, akkor az alatt "végtelenszer" lehet írni. Az SSD-t meg nem. Csak ennyit állítottam.

Nem értem, milyen ipari SSD-ről van szó, és mi az 1 GB? A mérete, vagy annyit írtak rá? Az a másik Intel SSD az pontosan milyen volt, amelyik 3–9 hónapot bírt? Mennyit írtak rá? Most akkor 3 volt vagy 9? Nem írsz konkrétumokat, azért nem fogadja be senki a számaidat.

„Pár marék nerd-et leszámítva kutyát se érdekel már 2016-ban a Linux. Persze, a Schönherz koliban biztos lehet villogni vele, de el kéne fogadni, ez már egy teljesen halott platform. Hagyjuk meg szervergépnek stb…” Aron1988@Proharder Fórum

Az összehasonlításhoz az Intel SSD. Az ár/méret optimalizálásához egy nem létező 300GB-os példánnyal számoltam, ahol az árat a 200GB és 400GB közé lőttem be. Az adatlap azt írja: 10 drive writes per day for 5 years. Azaz 10*365*5*300GB=5,475PB írható a diszkre, másképp számolva 10*365*5=18.250x írható felül a teljes diszk.

Az ipari ssd az olyan, amit a google az "industrial/military grade ssd" mintával tud megtalálni. ;) Jellemzőjük a garantált 2.000.000 felülírás. Méghozzá nem ködösítve, hanem újabban így, "számmal megnevezve". ;)
Szóval a "kis ellenség" egy régóta nem gyártott 1GB mértű diszkecske: XceedLite 2 - 2,5" PATA volt. Specifikációja szerint: Endurance >260 years 200GB writes/day write cycles. Manapság ugyanez a gyártó már sokkal nagyobb mértű diszkeket gyárt. Az Intel diszkeknél alkalmazot számítások szerint 200*365*260*1GB=18,98PB (3,45x több) és 260*365*200=13.780.000 teljes felülírás (755x több).

Az speciális feladat szerint <=512B tranzakciókat kellett feljegyezni 2,365PB/5év és a szükséges adatterület <200MB. Te melyik diszket választanád?

Teljesen felesleges az SSD-ktől fosni, hogy jajj, elkopik, meg mindenféle optimalizációval kímélgetni (cache-ek, logok, swap, stb. áthelyezése más HDD-re vagy memóriába). A legolcsóbb, Tesco-gazdaságos TLC SSD is bőven kitart 20 évig átlag felhasználással, ami kb. 20 GB napi írást jelent. Nálam a napi írás 10 GB alatt van (pedig nem kímélem, torrentezést is kap a szájába, meg nincs íráscsökkentő optimalizáció rajta, HDD-ként használom), meg a meghajtó is nagyobb, az jobban bírja az írásokat, kiszámoltam, hogy 50 év van hátra, míg elérem a garanciális íráslimitet, de még utána sem fáradnak el a cellák, csak garancia nem lesz rá. Valójában ha meg is hal az SSD, az mindig kizárólag a vezérlő hibája miatt szokott lenni, nem a cellák elfáradása miatt. A HDD is előbb fekszik ki a mechanikai kopás vagy vezérlőhiba miatt, minthogy az SSD-s párja elhasználódna. Igazából nagy átlagban az SSD-k tartósabbak, hiába viselnek el korlátozottabb számú írást, ezt a limitet a gyakorlat nehéz elérni, nagyon speciális felhasználás kell hozzá, ami 24/7-ben folyamatos írás alatt tartja az SSD-t.

A 30 másodperces hibernációnak azért nem látom értelmét, mert általában 6-8 mp. között van az SSD boot, és 2-4 mp. körül a leállás, és akkor az ember mindig tiszta lappal kezd, nem éri meg SSD-nél a hibernálás, csak feleslegesen fárasztja az SSD-t, ámbár kibírja, de a feleslegességen van itt a hangsúly. A lassú HDD-knél sokat számított, de az SSD-nél nem gazdaságos időbelileg.

Az meg igaz, hogy az SSD és a RAM között latencyben van 2-3 nagyságrend, de mint írtam, már az SSD-k is elérték azt a határt, mikor a proci a szűk keresztmetszet, hiába kapja meg 100–1000× gyorsabban az adatokat, ha nem bírja olyan gyorsan feldolgozni. Ahhoz nagyon brutál szerverproci kell, meg jól párhuzamosított alkalmazás, hogy a ramdrive jobb késleltetéséből profitálni lehessen, otthoni-irodai környezetben nem lehet, így ott az SSD is a ramdrive sebességét nyújtja. Aki nem hiszi el, és sok ramja van, csináljon ramdrive-ot és mérje le, hogy mennyivel gyorsabb, mint SSD-n. Bootolási időt is lehet tesztelni virtuális géppel. Ebben a videóban demonstrálják is, hogy nem nyerni ramdrive-val semmit játékoknál SSD-hez képest. Hasonló a kép bootolásnál és alkalmazások indításánál is.

„Pár marék nerd-et leszámítva kutyát se érdekel már 2016-ban a Linux. Persze, a Schönherz koliban biztos lehet villogni vele, de el kéne fogadni, ez már egy teljesen halott platform. Hagyjuk meg szervergépnek stb…” Aron1988@Proharder Fórum

Nem latom a parhuzamot az otthoni torrentezes, laptopon bohockodas es a szerverekben levo sok ram kozott. :) Jatekoknal plane, ott 99%, hogy CPU limites a betoltes.

A home felhasznalas lehet, hogy 20 ev alatt rohaszt el egy SSD-t, de tegyel ra [p/my/MS]sql szervert, (amit hasznalsz is), logszervert vagy hasznald cache drivenak.
Nalunk max. 2-3 evet birnak ilyen terheles alatt. (persze, 2-3* ennyiert birna biztos 2-3*addig. Talan...) Es igen, tobbszoreset kapjak irasban, mint amire jar a garancia, elindul a wear level. A gyarto sem hulye.

Ehhez kepest a RAM-ok akar 10+ evig is elmennek 7/24. Ha storage van mogotte, ott szinten jo esellyel RAM cache-bol jon az adatod.
Es szervernel nem erdekel senkit a betoltesi ido, egy szerver vasnal nem a diszkekrol olvasas sok, hanem mire osszeszedi magat a gep: 10-15 perc is megvan mire a bootloaderig jut egy brand szerver.

A torrentezést csak arra írtam, hogy sokan nem merik meglépni SSD-n, mert jajj tönkremegy. Nyilván azért írtak otthoni felhasználást, nem szervereset. Ámbár szervernél sem mindegyik generál sok írást, az adatbázis lehet igen, oda nyilván nem consumer TLC SSD-t szoktak beletenni. A consumer SSD-ket is csak azért hoztam fel, mert otthoni felhasználásnál már a ramdisk sebességét hozzák a gyakorlatban (nem a benchmarkokat kell nézni). Tudom, hogy a cikk szerveres felhasználásról szól, de ez a jelenség a consumer szegmensben is le fog játszódni. Nem is lesz olyan távoli jövő szerintem, mikor a RAM és az SSD vonala összeér.

"A home felhasznalas lehet, hogy 20 ev alatt rohaszt el egy SSD-t, de tegyel ra [p/my/MS]sql szervert, (amit hasznalsz is), logszervert vagy hasznald cache drivenak."

Ne tegyünk úgy, mintha a HDD nem öregedne hasonló adatmennyiség kiszolgálásánál... :)

...a másik dolog pedig a random throughput, ami HDD esetén a béka segge alatt van, egy jobb HDD talán tud 1,5-2 MBájt/s körül 4k random read/write sávszélességet... ezzel a terheléssel 4 TB kapacitást majdnem egy hónapig tart teleírni vagy kiolvasni (!). A HDD se a tökéletesség szimbóluma, bőven akadnak problémái, nem véletlen, hogy terjed az SSD, mint a bozóttűz.

Azt persze nem tudjuk, ki az az elmebeteg, aki 4k random read/write módon használ egy diszket. Röviden szólva a pécés benchmark programokon kívül - 1 db. diszket tesztelve - a való világban nem létezik ilyen felhasználás.
nem véletlen, hogy terjed az SSD, mint a bozóttűz
Ez a jelenség ugyanaz, mint amikor az egész emeletnyi számítási/tárolási teljesítményt belerakták egy pc dobozába. Jelenleg egy (régebbi) közepes számítóközpont számítási teljesítménye van a laptopodba, sőt rengeteg RAM, szinte olyan mint egy valódi szerver. ;) Csak a kiegyensúlyozott diszk alrendszer már nem fért bele. Hát ezért nem is hívják szervernek. :-D Szóval egy atombomba erősségű géppel szenvedsz, amit a tárolója nem tud ellátni adatokkal, és ezért jól jön az SSD. Ezt megértem.

Ne tegyünk úgy, mintha a HDD nem öregedne hasonló adatmennyiség kiszolgálásánál... :)
Meg úgy se, mintha értenénk hozzá. Van egy tanulmány, amelyet olyanok készítettek, akik egynél több diszket használnak: Google. :) Vagy akár ezt az inkább ismeretterjesztő jellegű írást átfuthatnád. Ugyan "öregedést" nem emlegetnek benne, de kiolvashatod mi történik, a desktop diszken szervert játszol. Ez olyasmi, mint amikor a személyautóddal rendszeresen téglát és betongerendákat szállítasz, oszt széthullik. ;) Csak nem öregedésnek hívják, hanem "nem rendeltetésszerű használatnak".

"Azt persze nem tudjuk, ki az az elmebeteg, aki 4k random read/write módon használ egy diszket. Röviden szólva a pécés benchmark programokon kívül - 1 db. diszket tesztelve - a való világban nem létezik ilyen felhasználás."

Az összes enterprise storage 4k random read/write tesztekkel is kvalifikálja magát, szóval mind elmebeteg.

Azért számít a random workload mert az adatbázisok, webszerverek, hálózati meghajtók alatti storage igények általában ilyenek, ezért teszik át ezeket mostanában SSD storage-ra, mert általában nem tudjuk, hogy ki lesz a következő ügyfél, mit akar venni, kinek akar utalni, melyik fórumtémához akar hozzászólni vagy melyik dokumentumot akarja megnyitni. A storage statisztikák szerint ilyen use-case esetén az átlagos workload több mint fele kis méretű random read/write, ezért nem mindegy, hogy a való világ alkalmazásait mivel szolgálod ki, amikor egy 15k SAS disk tud 200 IOPS körül teljesíteni, egy kommersz SSD pedig már 100000 IOPS körül...

"Csak a kiegyensúlyozott diszk alrendszer már nem fért bele. Hát ezért nem is hívják szervernek. :-D"

Mit nevezel kiegyensúlyozott diszk alrendszernek? Egyik diszk alrendszer se tudja megközelítőleg sem azt, amit az SSD tud... vagy többet tudsz, mint azok a storage forgalmazó cégek, amelyek ilyennel foglalkoznak.

"Szóval egy atombomba erősségű géppel szenvedsz, amit a tárolója nem tud ellátni adatokkal, és ezért jól jön az SSD. Ezt megértem."

A HDD is el tud látni adatokkal, szekvenciálisan a negyedét tudja az SSD sebességének, ami bőven jó lenne, de sajnos az IO igények javarészt nem szekvenciálisak, a kisajtolható IOPS pedig százada sincs.

"Meg úgy se, mintha értenénk hozzá. Van egy tanulmány, amelyet olyanok készítettek, akik egynél több diszket használnak: Google. :)"

A Google pont írt erre tanulmányt tíz éve, aminek egyik meglepő következtetése az volt, hogy a nagyobb terhelésű HDD nagyobb eséllyel hal meg, konkrétan ötször annyi magas terhelésű HDD döglött meg, mint átlagos terhelésű és öt év alatt a magas terhelésű HDD-k harmada meghalt. És volt még egyéb meglepő következtetésük is, de azt nem írták, hogy örök életük lenne a diszkeknek. A BackBlaze is szokott teszteket közölni, náluk se élnek örökké a HDD-k, pedig ott nem igazán kapnak terhelést.

"Csak nem öregedésnek hívják, hanem "nem rendeltetésszerű használatnak"."

Tehát azt mondod, hogy ha folyamatosan írod-olvasod a HDD-t, az nem megy előbb-utóbb tönkre ettől, nem kopik el?

4k random read/write tesztekkel is kvalifikálja magát
Ez egy benchmark. Semmi köze a valós felhasználáshoz.

Szavaidból kiderül, hogy tévedtem. Komolyan aszittem az SSD megjelenése előtt is volt random workload (azmiaz?), adatbázisok, webszerverek, hálózati meghajtók, bankok és ügyfelek. ;)

Mit nevezel kiegyensúlyozott diszk alrendszernek?
A kiegyensúlyozott rendszer definíciója igen egyszerű. Nincs benne gyenge/erős láncszem. Természetesen ez az adott feladathoz mérten értendő. Kiegyensúlyozatlan lehet egy olyan rendszer, ami nagy számítási kapacitással rendelkezik, de nem tudod ellátni időben adatokkal. Vagy fordítva, amikor dőlhetnének az adatok, de várniuk kell, mert nem tudod olyan sebességgel feldolgozni. Ezért hasznosak a benchmarkok, mert egy rendszerelemről, vagy egy mesterséges szituációról állíthatsz valamit egy másik hasonlóhoz képest. Aztán elegendő egy apró hozzánemértés, és készen van a legalább 2 nagyságrenddel lassabb rendszer. ;)
Egyik diszk alrendszer se tudja megközelítőleg sem azt, amit az SSD tud... vagy többet tudsz, mint azok a storage forgalmazó cégek, amelyek ilyennel foglalkoznak.
Nem hinném, hogy többet tudok. Hiszen egyetlen árva storage-ot sem adtam még el. ;) Viszont sokkal többet tudnál, ha elolvastad és értelmezted volna a korábban linkelt dokumentumot. Itt leginkább az értelmezés lenne fontos. Ugyanúgy, mint a Google dokumentumában, ahol a hamar haló diszkek bizony kommersz diszkek voltak. Az enterprise kategóriájú diszkek fő jellemzője meg a 7x24x100% terhelés szemben a desktop 5x8x(10...20%) terheléssel. Következésképp az enterprise diszk folyamatos 100%-os terhelésre van méretezve. Tehát az a dolga, hogy az élettartama során folyamatosan dolgozzon. A kisebb terhelés talán megnövelheti az élettartamot, de a jól felkészült vásárlót ez nem érdekli.
Tehát azt mondom, hogy egy enterprise kategóriájú diszk
- olcsóbb, mint az SSD
- 5 éven keresztül bírja a 100% terhelést, legyen az akár írás is
Az SSD nem rendelkezik ilyen paraméterekkkel, tehát meg se közelíti a HDD tulajdonságait. ;)
Az "előbb-utóbb tökremegy" - nos, az nem műszaki fogalom. Ha nem bírja az 5 év 100% terhelést, akkor selejt.
Végezetül az egész vita lényeg csak annyi, hogy van e szükség máról holnapra 100x annyi IOPS-re, vagy sem? A kissé "túlfejlett", ésszerűtlenül tervezett rendszereknék bizonyára. Természetesen a szükséges diszkre írás mennyiségének ismeretében az SSD üzemeltetése sokkal gazdaságosabb lehet. És tényleg most tartunk ott, hogy az ár csökkenése miatt már megéri. Az SSD extrém IOPS képessége csak további megtakarítást jelent - nem kell annyi HDD-t "páhuzamosan kötni". (Bizony láttam már 176 diszket összekötve, még 1996-ban. ;))

Te valami ködös álomvilág és a régmúlt keverékében élsz.

"Ugyanúgy, mint a Google dokumentumában, ahol a hamar haló diszkek bizony kommersz diszkek voltak."

Nosza, linkeld be azt a tanulmányt, ahol az enterprise grade disk-ek nem halnak tömegével, mert a szomorú valóság az, hogy ugyanúgy tömegével halnak és nem azért, mert a selejt hullik el...

"A 30 másodperces hibernációnak azért nem látom értelmét, mert általában 6-8 mp. között van az SSD boot, és 2-4 mp. körül a leállás, és akkor az ember mindig tiszta lappal kezd,"

A legkevésbé se akarok tiszta lappal kezdeni... azt szeretném, ha lecsukom a laptop fedelét, beteszem a táskámba, máshol kiveszem, akkor másodperceken belül ugyanazt a munkakörnyezetet kapjam vissza, amit hagytam. Aki fejlesztőként dolgozik, az tudja ezt értékelni, az üzemeltetőket és a dokumentumfejlesztőket ez nem szokta érdekelni.

"A lassú HDD-knél sokat számított, de az SSD-nél nem gazdaságos időbelileg."

Szerinted mennyi ideig tart leállításnál leállítani két-három alkalmazásszervert, két-három adatbázis szervert, két-három virtuális gépet, a fejlesztőkörnyezeteket, a lognézésre és egyébre a konzolokat, a teszteléshez használt szoftvereket, a dokumentációkat és a többit? Aztán mennyi ideig tart a boot után elindítani két-három alkalmazásszervert, két-három adatbázis szervert, két-három virtuális gépet, a fejlesztőkörnyezeteket, a lognézésre és egyébre a konzolokat, a teszteléshez használt szoftvereket, a dokumentációkat és a többit?

"Ebben a videóban demonstrálják is, hogy nem nyerni ramdrive-val semmit játékoknál SSD-hez képest. Hasonló a kép bootolásnál és alkalmazások indításánál is."

Egy láda sörbe fogadok, hogy egy átlagos munkanap végén a futó környezetet emlékezetből vissza se tudsz pontosan állítani másnap reggel, nemhogy előbb...

Azert meg nem kell temetni a RAM-ot. Amiben az SSD meg mindig nagyon le vannak maradva az a kesleltetes. A cache es a RAM kozott is eleg jelentos kulonbseg van (legalabb egy nagysagrend). Itt meg rengeteget lehetne fejlodni, a mai szamitogepeken ez az ami a legtobb esetben teljesen uralja a gep teljesitmenyet.
Hiaba kozeliti meg az NVME througoutput (mi erre a magyar szo?) a RAM-et, a folytonos olvasas egy optimalis helyzet ami a tipikus memoriahasznalatnal nem sokszor all fent.
--
:wq

Nem mondtam, hogy temetni kell. Szerintem rövid távon az SSD fog nyerni, de ha megoldják, hogy ne felejtsen (nem ilyen gombelemes komolytalankodásra gondolok), akkor lehet hosszú távon mégis a RAM marad csak.

A cache-t a proci használja csak, és hiába növeled egy méreten túl, eléred az a pontot, amikor a több cache nem számít, mert mindig architekturális korlát is van. A RAM-nak meg hiába kisebb 2–3 nagyságrenddel a késleltetése, ha a gyakorlatban a ramdrive nem gyorsabb, mint egy SSD. Az már csak jelképes, jelzésértékű, hogy a kevésbé fontos szekvenciális átvitelben már megközelíti az NVMe, gyakorlati jelentősége nincs, mert sem szerverben, sem otthoni felhasználásnál nem ír/olvas senki szekvenciálisan túl sokat.

„Pár marék nerd-et leszámítva kutyát se érdekel már 2016-ban a Linux. Persze, a Schönherz koliban biztos lehet villogni vele, de el kéne fogadni, ez már egy teljesen halott platform. Hagyjuk meg szervergépnek stb…” Aron1988@Proharder Fórum

( _Franko_ v | 2017. 08. 01., k – 10:56 )

A storage és a memory mocskosul olcsó, azért aztán egyre inkább a CPU a szűk keresztmetszet... jól látszik a VPS-ek esetén is az a trend, hogy a memória dedikált, a storage esetén részben van overbooking, a CPU esetén viszont erős az overbooking.

Belenéztem a saját ólamba, hogy megnézzem, de pl. nekem sosem a CPU erőforrással volt gondom:

https://flic.kr/p/XfGKn3

Sokkal inkább a gyors és nagy storage az, ami ált. hiányzik. Utána a memória.

Egy darab 600 GB-os SAS diszk jelenleg 200-300K áron van. Egy diszk nem diszk. Számolj utána.

Ez felhasználásfüggő erősen.

--
trey @ gépház

"Belenéztem a saját ólamba, hogy megnézzem, de pl. nekem sosem a CPU erőforrással volt gondom:"

Feladata válogatja... a példának adatbányászatot írtam, felteszem, hogy ezek a virtualizált cuccok nem épp adatbányászattal foglalkoznak... :)

"Sokkal inkább a gyors és nagy storage az, ami ált. hiányzik. Utána a memória."

Ha a gépek dolga az, hogy adatokat továbbítanak a hálózaton a kliensek felé, akkor a HDD storage lesz a szűk, ott fognak állni iowait státuszban a processzek. SSD storage esetén ilyenkor is már a CPU fog dolgozni és a CPU lesz a szűk keresztmetszet, ami limitálja kiszolgálás sávszélességét. Ha pedig memóriába felszívod a kiszolgálandó adatokat, akkor pláne.

"Egy darab 600 GB-os SAS diszk jelenleg 200-300K áron van. Egy diszk nem diszk. Számolj utána."

Nem az áron vitázunk, hanem a szűk keresztmetszeten... szekvenciálisan ki tudsz nyomni a storage felől 400-500 MBps sávszélességet, ha nem csak össze akarsz adni két számot a beolvasott adatokban vagy bitről-bitre továbbítanád egy másik interfészen át, hanem komplexebb számolásokat is végeznél, akkor a CPU szűk lesz ehhez.

Lehet, hogy ugy latszik, hogy a CPU mennyire le van terhelve, de a valosagban sokszor csak all es varja, hogy valami betoltodjon a memoriabol.
Egy olyan cegnel dolgozok ahol megprobaljuk a CPU-t minel jobban kihasznalni, hogy leszoritsuk a kesleltetest (NoSQL adatbazis) es hat nem konnyu. Mindenfele trukkot be kell vetni (pl. kenyesen vigyazni arra, hogy ne szemeteljuk a cache-t) ahhoz, hogy a CPU workload ne frontend-bound (ne a memoriara varjon) legyen, vagyis, hogy rendesen kihasznaljuk a CPU-t.
--
:wq

( khiraly | 2017. 08. 01., k – 22:34 )

Most vettem 53eFt-ert egy 16GB-os modult. Olcsonak nem neveznem.

Foleg, hogy ma-honap mar a mobilok 8GB-tal jonnek, es komplett mobilt fogok kapni 8GB-ert jovo ilyenkor...

---
Saying a programming language is good because it works on all platforms is like saying anal sex is good because it works on all genders....