3ware kerdesek

Lenne par kerdesem, ami nem teljesen vilagos ezeknel a HW-es raid kartyaknal.
Alap pelda szitu: ket disk tukorben. Kerdes: a konfigot mi tarolja, illetve mi van a hdd-kre mentve?
Konfigot gondolom a kartya tartalmazza, de akkor a diskeken van valami specialis, vagy egyszeruen csak egyfoman hasznalja oket? Azaz akar leveve egy disket, szolon rarakva sima sata porta elindulna?
Gyakorlatiasabb kerdes, hogy ha van ket disk egy kartyan mirrorban, azt hogy lehet atpakolni masik kartyara? Siman ott is beallitja az ember tukorbe oket, es mukodik roluk a regi rendszer?
Koszi.

Hozzászólások

A diszkre van kiírva (meta adat).
Nem próbáltam, de szerintem sima sata portról is felbootolna (egy ideig). Aztán amikor a disk drivert betölti és nincs meg a hardver, akkor a konfig és az OS függvényében több minden is történhet.
Ha 2 egyforma tipusu kártyákról beszélünk akkor minden megy. Söt 6xxx->7xxx->8xxx upgrade is simán megy (bár 6xxx-nél firmware függő volt.)
8xxx->9xxx-hez konvertálni kell a diszket, de ad utility-t a 3ware (AMCC)

Hello!

B.Ú.É.K. mindenkinek!

Megláttam a topicot és gondoltam feldobok egy kérdést mert miért ne :)
Adott egy 3ware 9550 4 portos kártya, rajta 2*250GB hdd mirrorban.
Úgy szeretném bővíteni a rendszert pl. 2*500GB-tal hogy 750GB-t lásson a linux egyben és a 250es tömbön lévő adatok megmaradjanak. Magyarul a 250es tömböt akarom kibővíteni 750-re. Ja és erről a tömbről kell bootolnia a gépnek. Ez ugye annyi, hogy fogja a 2*500at mirrorban és hozzácsapja a 250-es tömbhöz, így lesz egy 750-es RAID10 tömböm. Ami igazán érdekel, hogy mennyire nagy biztonsággal csinálja ezt meg a 3ware? Érdemes előtte full backupot készíteni? Tudom tudom mindig érdemes, de volt már 1 vinyóhalál és akkor csak beledobtam az újat a rossz helyére és ráengedtem a rebuildet, másrészt ha tényleg érdemes full backupot csinálni akkor inkább belerakok 2*500 + 1*250 friss vinyót és az egyik eddig tükrözött 250es megmarad végső esetre, aztán ha minden ok, akkor kispadosnak.
Szerintetek?

Szerintem ezt minden joszandeka ellenere sem fogod tudni megtenni a 3ware-rel.

Folleg, mivel a raid1-et nem fogod tudni raid10-re alakitani onthefly azt meg azzal a kartyaval (vagy barmelyik masikkal) szerintem vegkep nem, hogy az adatok is megmaradjanak.

Amugy ha emlekezetem nem csal mind a raid1 mind pedig a tobbi raidtombnel a legkisebb meretu diskhez lesz meretezve a tomb is (talan raid0 kivetel, de amikor utoljara ilyesmit muveltem meg az sem volt :P).
Vagyis ha van 3x500 es 1x250gb-d es ebbol raid10-et akarsz csinalni akkor is250gb lesz. a tombod merete.
SWRAID-del mondjuk az alapbol hw raidet megjatszhatod hogy a 2x250gb mirrorodbol csinalsz egy + 2x500gb-s mirror1el egy 750g-s particiot de ez az adatnemvesztes es arrol bootolas menetkozben kicsit neccesnek hangzik. Folleg hogy ha arra gondolok, hogy amig megprobalod az uj particiot formatalni hol tartod az adatokat?

de amugy ami talan ennel is fontosabb lehet hogy a raid10 != 2xraid1, sokkal inkabb raid1+striping.

Egyebkent a legocskabb hardware raidtol is alapkovetelmeny, hogy raid1nel ha kiesik az egyik disk epitse ujra a tombot amint az uj bekerult.

Ja es mielott koveldobalasal meg flame lenne a comment, a kerdeshez mert szakmai felteleknek megfelelo szokincsbol epult ;)

--
drk

Vagyis ha van 3x500 es 1x250gb-d es ebbol raid10-et akarsz csinalni akkor is250gb lesz. a tombod merete.

Ezt nem nagyon értem. Én 2x500GB + 2x250GB-t írtam.

a raid10 != 2xraid1, sokkal inkabb raid1+striping

Ezt hanyagul fogalmaztam meg, de a szerintem te is :) A RAID10 az 2-2 vinyót jelent RAID1-ben majd a két RAID1-et RAID0-ban. Így ez simán megoldható, nincs semmi a kisebb mérethez igazítva, bár ez az előző félreértésből is tisztázódik.

Folleg hogy ha arra gondolok, hogy amig megprobalod az uj particiot formatalni hol tartod az adatokat

Újra kéne formázni? Miért? A 3ware nem tudja megcsinálni a partíció átméretezését?

>> Vagyis ha van 3x500 es 1x250gb-d es ebbol raid10-et akarsz csinalni akkor is250gb lesz. a tombod merete.
>Ezt nem nagyon értem. Én 2x500GB + 2x250GB-t írtam.

Csak magyarazatnak szantam :)

>Ezt hanyagul fogalmaztam meg, de a szerintem te is :) A RAID10 az 2-2 vinyót jelent RAID1-ben majd a két RAID1-et RAID0-ban. >Így ez simán megoldható, nincs semmi a kisebb mérethez igazítva, bár ez az előző félreértésből is tisztázódik.

Igy igaz valoban, es sorry. SZVSZ akkor is a legkisebb 250gb-s diskhez lesz meretezve a kesobbi raidtomb.. Ha nem, lehet kovezni ;)

drk

Hello!

Mekkora teljesítmény-csökkenést okoz, ha egy 3ware 8006-LP2-t 64 bites helyett 32 bites PCI aljzatban használok? (RAID1-ben.)

Petya

Meg egy kerdesem, a 95xx-os PCI-X-es es a 96xx-os PCI-E-es kartyak tombjei egymassal kompatibilisek? Ket disk-es mirrornal erdemes elkezdeni atterni ezekre, vagy a 8xxx-eskhez kepest annyi elonyuk azert nincs?

Sziasztok!

A segítségeteket kérném:

Van egy Debian Etch, egy HDD-n, ami eddig az alaplapi SATA vezérlőre volt kötve.
Most vettem egy 3ware 9650SE vezérlőt, és mégegy ugyanakkora HDD-t, RAID1-et szeretnék.

Beraktam a 3ware vezérlőt, rá az új üres winyót, a régi az alaplapi vezérlőn, majd livecd-ről dd-vel átmásoltam a régi winyó adatait az üresre. Ezután a régit lehúztam, és próbálok bootolni az új winyóról, ami a 3ware-en lóg, egyelőre egyedül.

A probléma az, hogy nem bootol (waiting for root filesystem-nél áll meg a boot).

A régi winyó /dev/sda-nak látszott, és elvileg a 3ware is ugyanilyen device alatt látszik (legalábbis másik gépen így van)

Szerintem vagy az van, hogy más device-t adott neki, (ekkor hogyan tudom live cd-ről átírni, illetve legalább megtudni, hogy mi a device neve?), vagy a kernel még nem ismeri a 3ware-t (ekkor működni fog úgy, hogy a régi winyőt visszarakom, frissítek kernelt, majd újra dd, vagy mással is kell trükközni?)

Előre is köszönöm a válaszokat!

Petys

Ha csak egy vinyo van, akkor azt sda-nak latja. Valszeg nem ez a gond. Valoszinu nem is a kernel driver, mert akkor nem jutna el idaig sem. Ha google-zol erre a hibara, azt irjak altalaban, hogy az etch nem frissiti rendesen az udev csomagot, es amiatt dobja ezt a hibat, kezzel kell megeroszakolni, lehet itt is ez a gond. Mondjuk olyan meg lehet, hogy az fstab-ban es grub-ban az uuid-t at kellene irni az ujra..

Kipróbáltam a kernel frissítést, majd újra dd, így már tovább jut, az USB HID eszköz (UPS) felismerése után áll meg, hibaüzenet nincs.

Én kerestem erre a hibára, de nem találtam értelmes választ, tudnál segíteni, mit kell az udev-ben piszkálni, hogy működjön?

Petya

Köszi, ezt én is megtaláltam, de ebben nincs szó erről.

Esetleg nem lehet gond a swap-pel?

Az új winyó kicsivel kisebb volt mint a régi, dd után az utolsó (swap) partíciót törötem, újra létrehoztam, most már a helyes mérettel, majd mkswap. (mindezt live cd-ről)

Ami furcsa volt, hogy a régi (nagyobb) winyó 30410 cylinderes, az új pedig csak 30392. A dd után az új winyón az fdisk 30392-t írt, de a swap partíció 30410-ig tartott, törlés után is a 30410-et dobta fel, mint default a partíció végének. Ezt módosítottam kézzel 30392-re.

Ezzel lehet valami baj? Okozhatja ez a boot megakadását?

Petya

Hello!

3ware 9550SXU kártyával csináltam egy Raid level migrationt, azaz 2*320as vinyóhoz hozzáraktam újabb 2*320at, és így megcsinálta a 3ware a RAID10-t. A problémám annyi, hogy a felhasználható hely ugyanannyi maradt. Hogyan tudom megoldani, hogy kihasználjam a dupla akkora helyet?

A következő a helyzet:


cat /proc/partitions
major minor #blocks name

8 0 312475647 sda
8 1 104391 sda1
8 2 312367860 sda2
8 16 312502272 sdb
253 0 310280192 dm-0
253 1 2031616 dm-1


df -h
Fájlrendszer Méret Fogl. Szab. Fo.% Csatl. pont
/dev/mapper/VolGroup00-LogVol00
287G 217G 56G 80% /
/dev/sda1 99M 16M 78M 17% /boot
tmpfs 2,0G 0 2,0G 0% /dev/shm


mount
/dev/mapper/VolGroup00-LogVol00 on / type ext3 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
/dev/sda1 on /boot type ext3 (rw)
tmpfs on /dev/shm type tmpfs (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)


fdisk -l

Disk /dev/sda: 319.9 GB, 319975063040 bytes
255 heads, 63 sectors/track, 38901 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sda1 * 1 13 104391 83 Linux
/dev/sda2 14 38901 312367860 8e Linux LVM

Disk /dev/sdb: 320.0 GB, 320002327040 bytes
255 heads, 63 sectors/track, 38904 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sdb doesn't contain a valid partition table

./tw_cli /c0 show all

Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-10 OK - - 64K 596.025 ON ON

Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 298.09 GB 625142448 9QFA89EV
p1 OK u0 298.09 GB 625142448 9QF5EB6V
p2 OK u0 298.09 GB 625142448 9QF5CRRE
p3 OK u0 298.09 GB 625142448 9QFA83LH

A gond az, hogy nem igazán értem, hogy hogyan kreálta meg a partíciókat a 3ware. Mit kellene átméreteznem?

Előre is köszi a segítséget!

A RAID10 = RAID1 tömbökre nyomod a RAID0-t. Ez gyors, biztonságos, viszont nem gazdaságos. Ha átgondolod a fentit, rájössz, hogy pontosan ua. tárhelyed kell legyen mint eddig, csak gyorsabb a diszk alrendszered.

Ha több helyet szeretnél, a lehetőségeid:
- RAID5-re migrálod a 4 diszket - 3 diszknyi kapacitásod lesz (én nem szereten a RAID5-öt a veszélyei miatt)
- Csinálsz egy másik RAID1 tömböt az eredeti mellé, és felcsatolod a filerendszeredbe - 2 diszknyi kapacitásod lesz

Persze.
Köszi hogy próbálsz segíteni.


vgdisplay --verbose
Finding all volume groups
Finding volume group "VolGroup00"
--- Volume group ---
VG Name VolGroup00
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 3
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 297,88 GB
PE Size 32,00 MB
Total PE 9532
Alloc PE / Size 9531 / 297,84 GB
Free PE / Size 1 / 32,00 MB
VG UUID vAUJ3o-gxib-A4s4-iDc2-9Tbq-4Ty8-KJ7OHM

--- Logical volume ---
LV Name /dev/VolGroup00/LogVol00
VG Name VolGroup00
LV UUID tcU6PZ-eUTW-x32V-WSuC-2ZYJ-MAGH-viyfsH
LV Write Access read/write
LV Status available
# open 1
LV Size 295,91 GB
Current LE 9469
Segments 1
Allocation inherit
Read ahead sectors 0
Block device 253:0

--- Logical volume ---
LV Name /dev/VolGroup00/LogVol01
VG Name VolGroup00
LV UUID L5L5GR-2U3H-QF1u-ytDl-p1tp-EwNQ-EJjURs
LV Write Access read/write
LV Status available
# open 1
LV Size 1,94 GB
Current LE 62
Segments 1
Allocation inherit
Read ahead sectors 0
Block device 253:1

--- Physical volumes ---
PV Name /dev/sda2
PV UUID P922Fw-BKsl-BFYj-l30A-ZvIV-wsHi-jPM000
PV Status allocatable
Total PE / Free PE 9532 / 1

Konkrétan semmi extrát, a rendszer amúgy baromi gyors, hibátlanul működik.


dmesg | grep 3w
3w-9xxx: scsi0: AEN: INFO (0x04:0x0029): Verify started:unit=0.
3w-9xxx: scsi0: AEN: INFO (0x04:0x002B): Verify completed:unit=0.
3w-9xxx: scsi0: AEN: INFO (0x04:0x002B): Verify completed:unit=0.

Azért ennél többnek kéne lenni.

Nálam ilyen van, de ez még 9500-as:
3ware 9000 Storage Controller device driver for Linux v2.26.02.008.
ACPI: PCI Interrupt 0000:02:06.0[A] -> GSI 18 (level, low) -> IRQ 169
scsi0 : 3ware 9000 Storage Controller
3w-9xxx: scsi0: Found a 3ware 9000 Storage Controller at 0xec845000, IRQ: 169.
3w-9xxx: scsi0: Firmware FE9X 2.08.00.009, BIOS BE9X 2.03.01.052, Ports: 8.
Vendor: AMCC Model: 9500S-8 DISK Rev: 2.08
Type: Direct-Access ANSI SCSI revision: 03
SCSI device sda: 2929625088 512-byte hdwr sectors (1499968 MB)

Nem lehet, hogy a 9550-es már AMCC-vel hivatkozik?
Lényeg, hogy az SCSI device sorból mennyi van nálad?

Hmm ez elég érdekes:


SCSI subsystem initialized
3ware 9000 Storage Controller device driver for Linux v2.26.02.009.
ACPI: PCI Interrupt 0000:05:02.0[A] -> GSI 28 (level, low) -> IRQ 19
scsi0 : 3ware 9000 Storage Controller
3w-9xxx: scsi0: Found a 3ware 9000 Storage Controller at 0xda100000, IRQ: 19.
3w-9xxx: scsi0: Firmware FE9X 3.04.00.005, BIOS BE9X 3.04.00.002, Ports: 4.
scsi 0:0:0:0: Direct-Access AMCC 9550SXU-4L DISK 3.04 PQ: 0 ANSI: 3
sd 0:0:0:0: [sda] 624951295 512-byte hardware sectors (319975 MB)
sd 0:0:0:0: [sda] Write Protect is off
sd 0:0:0:0: [sda] Mode Sense: 23 00 00 00
sd 0:0:0:0: [sda] Write cache: enabled, read cache: disabled, doesn't support DPO or FUA
sd 0:0:0:0: [sda] 624951295 512-byte hardware sectors (319975 MB)
sd 0:0:0:0: [sda] Write Protect is off
sd 0:0:0:0: [sda] Mode Sense: 23 00 00 00
sd 0:0:0:0: [sda] Write cache: enabled, read cache: disabled, doesn't support DPO or FUA
sda: sda1 sda2
sd 0:0:0:0: [sda] Attached SCSI disk
scsi 0:0:0:1: Direct-Access AMCC 9550SXU-4L DISK 3.04 PQ: 0 ANSI: 3
sd 0:0:0:1: [sdb] 625004545 512-byte hardware sectors (320002 MB)
sd 0:0:0:1: [sdb] Write Protect is off
sd 0:0:0:1: [sdb] Mode Sense: 23 00 00 00
sd 0:0:0:1: [sdb] Write cache: enabled, read cache: disabled, doesn't support DPO or FUA
sd 0:0:0:1: [sdb] 625004545 512-byte hardware sectors (320002 MB)
sd 0:0:0:1: [sdb] Write Protect is off
sd 0:0:0:1: [sdb] Mode Sense: 23 00 00 00
sd 0:0:0:1: [sdb] Write cache: enabled, read cache: disabled, doesn't support DPO or FUA
sdb: unknown partition table
sd 0:0:0:1: [sdb] Attached SCSI disk
device-mapper: ioctl: 4.11.0-ioctl (2006-10-12) initialised:

Most őszintén, nem lehet, hogy 2db RAID-1 tömböd van?
Kukkantsál már bele a RAID BIOS-ba!
Ha ott minden OK, akkor kezd el böngészni a 3ware KB-t.

Olvastam egy külföldi fórumban olyat, hogy a 3ware nem adja át automatikusan az új tömb méretét az OS felé, csak úgy fog menni a dolog, ha removeolom a tömböt és rescanelem. Ez elég durva lenne, nem tudom elhinni hogy csak így működik ez. Ráadásul nekem innen bootol a rendszer. Ezt fullbackup nélkül eszem ágában nem lenne kipróbálni, az meg csomó macera lenne. Létezik, hogy ez csak így működik?

bocs mar nem latom hol jar a thread.
nezd meg a kovetkezo parancsot, milyen koteteket jelez?
#tw_cli /c0 show all
Az "Online Capacity Expansion and RAID Level Migration" mukodik, meg is jelenik a nagyobb kotet automatikusan, kiveve a kovetkezo esetet: http://www.3ware.com/kb/article.aspx?id=15095
az sdb akkor jelenik meg ha masik unitot csinalsz vagy az auto carving miatt

Hello!


./tw_cli /c0 show all
/c0 Driver Version = 2.26.02.009
/c0 Model = 9550SXU-4LP
/c0 Memory Installed = 112MB
/c0 Firmware Version = FE9X 3.04.00.005
/c0 Bios Version = BE9X 3.04.00.002
/c0 Monitor Version = BL9X 3.02.00.001
/c0 Serial Number = L320909A7130016
/c0 PCB Version = Rev 032
/c0 PCHIP Version = 1.60
/c0 ACHIP Version = 1.90
/c0 Number of Ports = 4
/c0 Number of Units = 1
/c0 Number of Drives = 4
/c0 Total Optimal Units = 1
/c0 Not Optimal Units = 0
/c0 JBOD Export Policy = off
/c0 Disk Spinup Policy = 1
/c0 Spinup Stagger Time Policy (sec) = 2
/c0 Auto-Carving Policy = off
/c0 Auto-Carving Size = 2048 GB
/c0 Auto-Rebuild Policy = on
/c0 Controller Bus Type = PCIX
/c0 Controller Bus Width = 64 bits
/c0 Controller Bus Speed = 133 Mhz

Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-10 OK - - 64K 596.025 ON ON

Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 298.09 GB 625142448 9QFA89EV
p1 OK u0 298.09 GB 625142448 9QF5EB6V
p2 OK u0 298.09 GB 625142448 9QF5CRRE
p3 OK u0 298.09 GB 625142448 9QFA83LH

Szóval auto-carving offon van és mégis megjelenik az sdb. Találkoztál már ilyennel? Nincs is másik unit, csak ez.

hmm... ezt nem tudtam


Unit UnitType Status %RCmpl %V/I/M Port Stripe Size(GB)
------------------------------------------------------------------------
u0 RAID-10 OK - - - 64K 596.025
u0-0 RAID-1 OK - - - - -
u0-0-0 DISK OK - - p0 - 298.013
u0-0-1 DISK OK - - p3 - 298.013
u0-1 RAID-1 OK - - - - -
u0-1-0 DISK OK - - p2 - 298.013
u0-1-1 DISK OK - - p1 - 298.013
u0/v0 Volume - - - - - 298
u0/v1 Volume - - - - - 298.025

ezekszerint a v0 a sda és a v1 a sdb? vagy most mi van?

Amig azt látom egy 3ware 9550SXU kártyánál, hogy
u0 RAID-5 INITIALIZING - 3% és nem éri el a 100-at, addig nem lehet particionálni?

fdisk -l esetében a helyes értéket írja ki tömb méretre, viszont cfdisk /dev/sdb-vel történő particionáláskor megadom, hogy az egész legyen sdb1, mentés, kilépés. Mikor visszamegyek az sdb1 mérete pár gigabájt, és alatta ott a maradék hely particionálatlanul.

Lehet ezt a kártyát sw raidként használni? Nagy butaság lenne (?),ha az árát nézem.
Spare diszket meg lehet nézni? Zavar, hogy nem igazán "látok bele", szemben az sw raiddel.
./tw_cli /c4/u0 show all és hasonlókkal nézegetem.

Sziasztok

Adott egy RAID bus controller: 3ware Inc 9750 SAS2/SATA-II RAID PCIe (rev 05) kártya.
12db 1TB sata diszkkel raid10-ben.

Közel 6TB-s tömbön lvm, azon egy 20GB-s teszt partíció felcsatolva.

Az írás 220-240 Mbyte/s.
# sync ; echo 3 > /proc/sys/vm/drop_caches
# dd if=/dev/zero of=/mnt/teszt/teszt.bin bs=1M count=10k
10240+0 beolvasott rekord
10240+0 kiírt rekord
10737418240 bájt (11 GB) másolva, 44,0091 másodperc, 244 MB/mp

Az olvasás 600-720 Mbyte/s
# sync ; echo 3 > /proc/sys/vm/drop_caches
# dd of=/dev/null if=/mnt/teszt/teszt.bin bs=1M count=10k
10240+0 beolvasott rekord
10240+0 kiírt rekord
10737418240 bájt (11 GB) másolva, 15,9312 másodperc, 674 MB/mp

Korrektek ezek az értékek? Keveslem az írást. Eddig raid5/6 tömböket használtam, de ilyen szekvenciális írást azok is produkáltak.

tw_cli show kimenet: http://pastebin.com/7tZk6jtY

update: 1 diszk (single kiajánlva) olvasás 130, írás 60-80 Mbyte/s.

Hello

BBU van, a tömbhöz rendelt pár soros config lehetőségben be van kapcsolva a write cache.
Ha single diszket hozok létre, write cache ON esetén 130 olvasás, masszív 60 írás.
Write cache OFF esetén 130 olvasás, írás (iostat -tal nézve) masszív 135, majd időnként 0, ismét 135.
A dd ebből 90-es átlagot hoz ki.

12 diszkes raid 10íráskor kb. 6 diszk IOPS teljesítményét tudja.
Átlagos jó minőségű 7200rpm-es SATAII diszk kb. 70 IOPS-ot tud. (+- valamennyi, de pontos specifikációk nélkül worstcase ökölszabályként elmegy.)

Az IOPS-ot szorozd fel az IO blokkméretével, és kb. megkapod, hogy mennyi az adatátviteled.

Az általad mért értékek kb reálisak, de pontos specifikációk és korrekt mérés nélkül ne várj pontos eredményt. A dd nem igazán tekinthető mérésnek, használj valami normális benchmarkot, pl iozone-t.