Találkozott valaki hasonlóval?
Vadi új szerver, Xeon, HW RAID SATA vezérlő Write Back, Raid1-ben két winyó +spare
Xen alatt Debian 7, ha apró fájlokat másolok (pl usr könyvtárat cakk-pakk) akkor max 1 MB/sec a sebesség, néha kevesebb. Ha nagyobb fájlokat mozgatok (csináltam pl egy 3 GB-os állományt) akkor 199 MB/sec fölött van a sebesség.
Oké, hogy apró fájlok lassabban mennek, de ez gyalázat.
- 1938 megtekintés
Hozzászólások
"Raid1-ben két winyó" gondolom valami 7200rpm SATA csoda, mit vársz ezektől? Random readnál ~90-100iops-ot tudnak maximum :)
https://storageioblog.com/part-ii-iops-hdd-hhdd-ssd/
--
"After successfully ignoring Google, FAQ's, the board search and leaving a undecipherable post in the wrong sub-forum don't expect an intelligent reply."
- A hozzászóláshoz be kell jelentkezni
Annyira azért nem sata csoda: Western Digital RE Datacenter Gold -ok
Megnéztem a fizikai gépen is (ami majd erre a virtuálisra költözne) ugyan úgy az usr könyvtárat másolva majdnem 20 MB/s megy, pedig az egy karcsúbb gép, ott mdadm-el van a raid1, ebben HW, de nem valami vacak fake raid van.
- A hozzászóláshoz be kell jelentkezni
> Annyira azért nem sata csoda: Western Digital RE Datacenter Gold
Az valóban a 7200 rpm-es SATA diszkek csúcsa, akár kemény 90 IOPS is lehet! :)
Milyen RAID vezérlő, mennyi benne a cache, ebből hány százalék van read-nek és write-nak?
Hardveres RAID esetén a diszkek saját fizikai cache-e szinte minden esetben le van tiltva.
Az bazira képes ám taccsra vágni a SATA diszkek teljesítményét!
A Xen hoston (dom0) milyen a tempó? Csak, hogy a Xen-ben keressük a hibát, vagy a vasban...
- A hozzászóláshoz be kell jelentkezni
Oké persze, nem 15K SAS, de a jelenlegi fizikai vas sem az, mégis villám ehhez képest, amit ma tesztként felhúztam. (erre költözne majd át csak már virtbe) Oké, abban a 3 db winyó (WD Black)egyszerre megy a Raid1-ben (nincs spare, mind a 3 aktív), szóval az olvasás ezért lehet némileg gyorsabb (ha jól tudom az mdadm estén mindről egyszerre olvas), de ez 10-20 szoros különbség túl sok hozzá.
Nem vagyok már a gépnél, de ezek vannak benne:
alaplap: DBS1200SPL
proc: Xeon E3-1230V5 3,4GHz
raid: RMS3CC040 /1GB van benne/ + Backup Unit így Write Back-re van állítva
- A hozzászóláshoz be kell jelentkezni
RAID1-be 3 merevlemez és egyik sem hot spare? hmmm - az meg hogyan lehet?!?
- A hozzászóláshoz be kell jelentkezni
mdadm-el. Belerakhatok kb bármennyit. Na jó biztos van egy határ, 3-al nekem megy az biztos. :) Csak a HW Raid vezérlők ilyen buták, hogy nem tudnak ilyet.
mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Mon Jan 19 18:22:42 2015
Raid Level : raid1
Array Size : 975454016 (930.27 GiB 998.86 GB)
Used Dev Size : 975454016 (930.27 GiB 998.86 GB)
Raid Devices : 3
Total Devices : 3
Persistence : Superblock is persistent
Update Time : Thu Nov 9 14:23:02 2017
State : clean
Active Devices : 3
Working Devices : 3
Failed Devices : 0
Spare Devices : 0
Name : mail:0 (local to host mail)
UUID : 0c6315fa:ce1cbb48:af491b15:fed90f61
Events : 1431
Number Major Minor RaidDevice State
0 8 1 0 active sync /dev/sda1
3 8 17 1 active sync /dev/sdb1
4 8 33 2 active sync /dev/sdc1
- A hozzászóláshoz be kell jelentkezni
OK, de mi értelme ugyan arról n -szer egy másolat? Méret marad a legkisebb HDD mérete, max talán az olvasás gyorsul.
- A hozzászóláshoz be kell jelentkezni
Egyrészt attól az még egy példány, tehát ha egy kihal akkor is lesz még kettő, tehát megmarad a redundancia, viszont nem alszik csak és foglalja a helyet mint spare, hanem legalább csinál valamit, szóval gyorsul tőle az olvasás. Hasznosítom a tartalékot.
- A hozzászóláshoz be kell jelentkezni
Az igazi raid1-ben 4 paríció (lemez) van, eleve 3-al hozod létre, és 1 a hotspare. Már ha kell a biztonság.
- A hozzászóláshoz be kell jelentkezni
+100
- A hozzászóláshoz be kell jelentkezni
oda elég lenne a cold spare is, mert akkor "nem használódi el" az a disk is, talán.
- A hozzászóláshoz be kell jelentkezni
- A hozzászóláshoz be kell jelentkezni
(raid 1-et írt de szerintem ez raid5 -nek lenne jó set.) (Nálam is 6 disken megy a raid 10 ...)
Van olyan idiota raid vezérlő, ahol ész nélkül pakolhatod bele a diskeket de csak raid1-et tud! mi értelme egy mondjuk 8 diskes raid1-nek? Az már majdnem olyan mint a macska, 8 élete van! :-D (ja és ha az olvasást megoldja akkor jobb I/O-t ad illetve gyorsabb lehet)
- A hozzászóláshoz be kell jelentkezni
Peldaul boot/rootfs-nek - barmelyik vinyorol el tud indulni a rendszer.
- A hozzászóláshoz be kell jelentkezni
A XenServer is erről a raidről bootol, vagy az külön diszken van?
- A hozzászóláshoz be kell jelentkezni
Minden ezen van.
--
Tanya Csenöl az új csatorna
- A hozzászóláshoz be kell jelentkezni
Az baj. Próbáld ki, hogy a XenServer-t nem a raidről bootolod, hanem egy másik diszkről.
- A hozzászóláshoz be kell jelentkezni
Szerintem a sata diszkek ennyit tudnak.
Esetleg a noatime es tarsai segithetnek kicsit, meg a disk scheduler-t valami egyszerure allitani kernel parameterben...
azert neznek a dom0-an egy top-ot, nem-e a tapdisk a szuk keresztmetszet :)
- A hozzászóláshoz be kell jelentkezni
FYI:
dd if=/dev/zero of=test bs=64k count=16k conv=fdatasync
PV gépen 80MB/s
a host gépen ~500MB/s
4x300G10K SAS, HP P420 (1G FBWC)
- A hozzászóláshoz be kell jelentkezni
- A hozzászóláshoz be kell jelentkezni
van a host-on PV és HVM is, megnézem.
Eddig én azt olvastam,h vannak bizonyos műveletek amiben gyorsabb a PV és vannak amiben a PVHVM.
Viszont a saját alkalmazásaimnál nem szántam rá jelentősebb időt, h benchmarkoljam.
- A hozzászóláshoz be kell jelentkezni
Dell R310 tök ugyanez van és fogalmam sincs mit tegyek. (kvirt)
- A hozzászóláshoz be kell jelentkezni
HOST:
/dev/sda:
Timing cached reads: 16766 MB in 2.00 seconds = 8390.86 MB/sec
Timing buffered disk reads: 848 MB in 3.01 seconds = 282.19 MB/sec
VIRT:
/dev/vda:
Timing cached reads: 1104 MB in 2.00 seconds = 552.04 MB/sec
Timing buffered disk reads: 226 MB in 3.01 seconds = 75.04 MB/sec
Mások pár százalék esésről beszélnek. Ez kicsit több. :)
- A hozzászóláshoz be kell jelentkezni
dd if=/dev/zero of=test bs=64k count=16k conv=fdatasync
Fenti eredmény mit ad mind host mind guest esetében ?
Fedora 26, Thinkpad x220
- A hozzászóláshoz be kell jelentkezni
HOST:
16384+0 beolvasott rekord
16384+0 kiírt rekord
1073741824 bájt (1,1 GB, 1,0 GiB) másolva, 3,46594 s, 310 MB/s
VIRT:
16384+0 beolvasott rekord
16384+0 kiírt rekord
1073741824 bájt (1,1 GB, 1,0 GiB) másolva, 27,6323 s, 38,9 MB/s
- A hozzászóláshoz be kell jelentkezni
A VPS HVM vagy PV modban fut ?
Fedora 26, Thinkpad x220
- A hozzászóláshoz be kell jelentkezni
hvm
- A hozzászóláshoz be kell jelentkezni
Mondjuk a HVM es gépek I/O ban mindig lassabbak voltak mint a PV-sek.
Lemértem hirtelen az egyik vasamon, amiben 2db 2.5 colos SATA laptop disk van 7200RPM el.
HVM-es gép, centos 6
1073741824 bájt (1,1 GB) másolva, 31,9338 mp, 33,6 MB/mp
PV-s gép debian 8
1073741824 bytes (1.1 GB) copied, 20.0076 s, 53.7 MB/
A host gép meg:
1073741824 bájt (1,1 GB) másolva, 15,0691 másodperc, 71,3 MB/mp
Fedora 26, Thinkpad x220
- A hozzászóláshoz be kell jelentkezni
Szerintem itt valami más lesz, mert itt durva teljesítmény különbség van.
- A hozzászóláshoz be kell jelentkezni
Alignment lehet.
https://discussions.citrix.com/topic/383676-is-xenserver-7-an-advanced-…
"No 4k drive support is currently available on any versions of XenServer, including 7.0. I have not heard about any support for the next release, either."
Ergo a xenserver meg mindig 512byte-os logikai blokkokkal baszakszik.
Akkor is ha a diszkjeid 4(8?)k-sak. :/
Egybevag azzal a tapasztalattal, hogy pl. barmilyen nem 512b-s iscsi megosztasra keptelen volt letrehozni az SR-t.
- A hozzászóláshoz be kell jelentkezni
Fájlrendszer blockméret?default?
- A hozzászóláshoz be kell jelentkezni
Igen, default ahogy a fizikai vason is ami az eredetije.
- A hozzászóláshoz be kell jelentkezni
Már nagyon rég használtam HW raid-et, de különböző RAID vezérlőkkel (Dell Perc5, Perc6, Hp 400, 410 talán) nagyon eltérő sebességeket mértem, miközben nem kellett volna (főleg raid5-öt teszteltem), mivel ha jól emlékszem, ugyanazokat a HDD-ket teszteltem több vezérlőn.
A probléma valószínűleg az OS/driver támogatásban volt.
Ha új gépek, gondolom még lehet játszani velük, ezért próbáld ki több OS-el, és ha jelentős eltéréseket tapasztalsz, akkor meg is van a hiba.
- A hozzászóláshoz be kell jelentkezni
Most húzok fel épp egy vmware-t, kíváncsi leszek mit látok.
--
Tanya Csenöl az új csatorna
- A hozzászóláshoz be kell jelentkezni
Személy szerint HW RAID nélkül adnám át a HDD-ket az OS-nek, és egy SSD cache-el szoftveresen oldanám meg a raid-et zfs-el.
Jelentősen jobb teljesítményt tudsz elérni, ráadásul a zfs send/receive segítségével nagyon jól tudod backupolni a rendszered. (gondolom azt tudod, hogy a raid az nem backup, még akkor sem ha 10 HDD-t kötsz mirrorba és van még vagy 5 spare drive-od is)
- A hozzászóláshoz be kell jelentkezni
A cucc adott. Kb fél éve néztem Linuxszon a ZFS-t és nem találtam alkalmasnak éles használatra. (Debian stable-ről beszélünk én mindig csak azt használok szervernek) Tesztelgettem és bizony, ha kirántottam az egyik winyót fizikailag, akkor nem jött föl helyette a másik automatikusan, csak ha kézzel megcsináltam. ...pedig tetszetős, de várok még vele.
...pedig sokan így gondolják :) Ebből él meg a Kürt. :)
- A hozzászóláshoz be kell jelentkezni
es beallitottad az autorecoveryt neki?
- A hozzászóláshoz be kell jelentkezni
igen, csak leszarta :) ...így kicsit megcsappant a bizalom. :)
--
Tanya Csenöl az új csatorna
- A hozzászóláshoz be kell jelentkezni
A 0.7.0-es verziótól van benne az autoreplace linux alatt.
https://github.com/zfsonlinux/zfs/releases/tag/zfs-0.7.0
Mostanra már teljesen stabil a projekt, simán lehet élesben használni.
Hagyományos fájlrendszerrel elég nehezen oldod meg azt, hogy ha full leég a szervered, akkor szinte instant mindent tovább tudj futtatni egy másikon. Ezt ZFS-el vagy akár Btrfs-el is meg lehet oldani.
Ilyen esetben semmilyen védelmet nem nyújt a raid.
- A hozzászóláshoz be kell jelentkezni
Amikor próbáltam már benne volt, ellenben nem működött. Majd egy év múlva megnézem újra vagy ha új rendszert kell valahol felhúzni. A régi megoldásokat nem bántom addig, amíg egyébként nem kell valamiért változtatni. (ami jó azt nem javítjuk meg elv)
Ha leég a szerver, akkor semmilyen fájlrendszerrel nem fog ott menni tovább, mert a winyók benne vannak. :) Ilyenkor csak a távoli backup ér valamit. ...ami mondjuk van hozzám tolva szerencsére. ..már amelyik ügyfél ezt megrendelte persze. :) ...de akinek havi 5 rugót nem ér meg...
- A hozzászóláshoz be kell jelentkezni
Felhúztam ugyan erre a vasra egy 6-os vmware-t.
Nagy file 220MB/sec körül indul, majd 110 MB/sec a vége.
Kicsi fájloknál a legrosszabb eredmény is 12 MB/sec, de a csúcs közel 20 MB/sec
Eldőlt mit fogok rajta használni. :)
- A hozzászóláshoz be kell jelentkezni
kvm-et? :)
- A hozzászóláshoz be kell jelentkezni