LSI 3008 Debian driver

LSI 3008 hardver raid-re szeretnék debiant telepíteni. A wikije szerint a megaraid_sas kezeli ezt az eszközt, de a letöltésnél további csomagok közül válogathatok. Használok már egy LSI 2308-at, amihez a sas2ircu-status csomagot kellett telepíteni. Erről azonban azt írják, SAS2. Az LSI 3008 pedig SAS3.
Melyik csomaggal figyelhetem megbízhatóan az LSI 3008 RAID állapotát debian alól?

Hozzászólások

Nemek az első google találatom a supermicro saját oldaláról az mpt3sas:
https://www.supermicro.com/wftp/driver/SAS/LSI/3008/Driver/Linux/26.00…
Ami azért szép, mert a második google találatban, a Debian saját Wikijében csak mpt2sas szerepel.
Összességében ez nem olyan meggyőző.
Valaki használja debian alól ezt a raidet?

A Linux kernel drivere számít neked, az driver. A debian mint OS alól legfeljebb monitoring/management eszközöd lesz. Példul: https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git/tree/d…

Ahogy látom mpt-status és megaraid-storage-manager csomagok vannak Debianon gyárilag.

Szia!

Én használom így.
28:00.0 RAID bus controller: LSI Logic / Symbios Logic MegaRAID SAS-3 3008 [Fury] (rev 02)

A "megaraid_sas" kernel modult kell betölteni (sztem ezt betölti automatikusan).
A BIOS után az LSI-BIOS/UTIL-ban (ctr+f5 talán?) amit létrehoztál kötetet/tömböt az megjelenik a /dev/sdX alatt.
Utána már tudod tudod formázni/particionálni.

Ha a diszkek SMART adatait le akarod kérdezni, akkor kell a "MegaRAID Storcli" csomag a Broadcom oldaláról (UBUNTU .deb csomag működik Debian alatt):
$> cd /opt/MegaRAID/storcli
$> ./storcli64 /c0 /eall /sall show
A diszkek és hozzá tartozó "DID" azonosítóit kiírja.

majd,
$> smartctl -a -d megaraid,$DID /dev/sdX

Én storcli-vel soha nem raktam össze kötetet/tömböt csak a LSI-BIOS/UTIL-ban.

Monitoring meg a smartd-vel (smartmontools csomag).

Ez érdekes.
Nálam az alap debian 9-es mpt3sas kernel modult telepíti automatán, így a RAID eszközöm így néz ki:


01:00.0 Serial Attached SCSI controller: LSI Logic / Symbios Logic SAS3008 PCI-Express Fusion-MPT SAS-3 (rev 02)

A sas2ircu-status parancs jelzi a két lemezt, méretét, és azt, hogy rendben van.


-- Controller informations --
-- ID | Model
c0 | UNKNOWN

-- Arrays informations --
-- ID | Type | Size | Status
c0u0 | RAID1 | 953G | Okay (OKY)

-- Disks informations
-- ID | Model | Status
c0u0p0 | ST1000NM0055-1V4 (ZBS1S5NW) | Optimal (OPT)
c0u0p1 | ST1000NM0055-1V4 (ZBS1S5TP) | Optimal (OPT)

Próbáltam telepíteni a megaraid-status modult, de az nem látott semmilyen eszközt.
Nekem elég csak monitorozni linux alól. Módosítani nem akarom, csak észlelni, ha probléma van.
Ha a sas2ircu-status látja az eszközt, akkor ebben lehet bízni, hogy valós értéket lát, és hiba esetén is jelezni fog? Ezt egyébként nem tudtom, hogyan lehetne tesztelni.

Szia!

Ezen a kártyán még LSI firmware van - amikor még nem volt Avago majd Broadcom.
Ahogy nézem:
https://www.broadcom.com/support/knowledgebase/1211161501344/flashing-f…

Bizonyos firmware verzió felett már ez a "mpt3sas" alias mpt2sas - kernel modul az elsődleges.

Nem ismerem ezt a "sas2ircu" csomagot - én a "Megaraid StorCli" használom ugyan erre.
$> cd /opt/MegaRAID/storcli
$> ./storcli64 /c0 /vall show
CLI Version = 007.0606.0000.0000 Mar 20, 2018
Controller = 0
Status = Success
Description = None

Virtual Drives :
==============

----------------------------------------------------------------
DG/VD TYPE State Access Consist Cache Cac sCC Size Name
----------------------------------------------------------------
1/1 RAID10 Optl RW Yes NRWTD - ON 5.457 TB adatok
----------------------------------------------------------------

Cac=CacheCade|Rec=Recovery|OfLn=OffLine|Pdgd=Partially
Degraded|Dgrd=Degraded
Optl=Optimal|RO=Read Only|RW=Read
Write|HD=Hidden|TRANS=TransportReady|B=Blocked|
Consist=Consistent|R=Read Ahead Always|NR=No Read Ahead|WB=WriteBack|
AWB=Always WriteBack|WT=WriteThrough|C=Cached IO|D=Direct
IO|sCC=Scheduled Check Consistency

Köszönöm, megnyugtatóan hangzik, hogy jó kernel modult ismert fel a debian.
Az LSI 2308-as raidet is ez a kernel modul kezeli, így remélem, a sas2ircu is megbízható lesz itt is.
Az általad írt "Megaraid StorCli" csomagot nem találtam a debian által ajánlott http://hwraid.le-vert.net/wiki/DebianPackages címen, de a "megacli" csomagot kipróbáltam, az szintén nem látta a raidet.
Gondolom a mega* csomagok a mega* kernelmodulhoz valók, így az én mpt3sas eszközömet nem is ismerhetik fel.
Már csak az bizonytalanít el egy picit, hogy az adapter típusát ismeretlennek jelzi.
A "sas2ircu LIST" kimenete:


LSI Corporation SAS2 IR Configuration Utility.
Version 16.00.00.00 (2013.03.01) 
Copyright (c) 2009-2013 LSI Corporation. All rights reserved. 


         Adapter      Vendor  Device                       SubSys  SubSys 
 Index    Type          ID      ID    Pci Address          Ven ID  Dev ID 
 -----  ------------  ------  ------  -----------------    ------  ------ 
   0     UNKNOWN     1000h    97h   00h:01h:00h:00h      15d9h   0808h 
SAS2IRCU: Utility Completed Successfully.
Szerkesztve: 2023. 08. 17., cs – 21:59

Mai nap énis belefutottam egy hasonlóba:

"mpt2sas" modul már nincsen ( kernel 5.15; kernel 6 ) hanem az "mpt3sas" modul van, viszont ez a régi SAS2 kártyákkal nem működik/fejejtős:

kernel: mpt2sas_cm0: failure at drivers/scsi/mpt3sas/mpt3sas_scsih.c:12348/_scsih_probe()!

(egyik workaround se működik már az új kernelben):

mpt3sas max_queue_depth=10000 mpt3sas.msix_disable=1

Mi a tanulság?
LSI/AVAGO/BROADCOM féle HBA kártyát soha ne vegyél, hanem csakis a RAID verziót ugyan abból a kártyából, mert annak a drivere "megaraid_sas" működik ( RAID kártyán lehet "HBA mode"-t beállítani ).
Nem is értem minek teszik bele a "mpt3sas driver"-t mint "mpt2sas" alternatíva a kernel-be, inkább írják ki "not supported hardware" töröljék (bevisznek a f*szerdőbe).

Azért ez egy 10+ éves kártya. Szerintem még 4.9-es vagy 4.19-es kernelt tudsz használni, igaz magadnak kell fordítani.

Viszont nekem 6.1.45-ön megy a fenti kártya belsős verziója, most ugrott be:

[    8.746146] mpt2sas_cm0: 64 BIT PCI BUS DMA ADDRESSING SUPPORTED, total mem (6882908 kB)
[    8.804705] mpt2sas_cm0: CurrentHostPageSize is 0: Setting default host page size to 4k
[    8.805024] mpt2sas_cm0: MSI-X vectors supported: 1
[    8.805209]   no of cores: 6, max_msix_vectors: -1
[    8.805394] mpt2sas_cm0:  0 1 1
[    8.805908] mpt2sas_cm0: High IOPs queues : disabled
[    8.806098] mpt2sas0-msix0: PCI-MSI-X enabled: IRQ 159
[    8.806284] mpt2sas_cm0: iomem(0x00000000913c0000), mapped(0x(____ptrval____)), size(16384)
[    8.806523] mpt2sas_cm0: ioport(0x0000000000006000), size(256)
[    8.866826] mpt2sas_cm0: CurrentHostPageSize is 0: Setting default host page size to 4k
[    8.867113] mpt2sas_cm0: sending message unit reset !!
[    8.868988] mpt2sas_cm0: message unit reset: SUCCESS
[    8.899072] mpt2sas_cm0: sg_tablesize(256) is bigger than kernel defined SG_CHUNK_SIZE(128)
[    8.899325] mpt2sas_cm0: scatter gather: sge_in_main_msg(1), sge_per_chain(9), sge_per_io(256), chains_per_io(29)
[    8.899749] mpt2sas_cm0: request pool(0x(____ptrval____)) - dma(0x97e804000): depth(7752), frame_size(128), pool_size(969 kB)
[    9.489612] mpt2sas_cm0: sense pool(0x(____ptrval____)) - dma(0x980704000): depth(7507), element_size(96), pool_size (703 kB)
[    9.489991] mpt2sas_cm0: reply pool(0x(____ptrval____)) - dma(0x980804000): depth(7816), frame_size(128), pool_size(977 kB)
[    9.490262] mpt2sas_cm0: config page(0x(____ptrval____)) - dma(0x9806bd000): size(512)
[    9.490484] mpt2sas_cm0: Allocated physical memory: size(30015 kB)
[    9.490661] mpt2sas_cm0: Current Controller Queue Depth(7504),Max Controller Queue Depth(7632)
[    9.490886] mpt2sas_cm0: Scatter Gather Elements per IO(256)
[    9.540990] mpt2sas_cm0: LSISAS2116: FWVersion(20.00.02.00), ChipRevision(0x02), BiosVersion(07.05.01.00)
[    9.541240] mpt2sas_cm0: Protocol=(Initiator,Target), Capabilities=(TLR,EEDP,Snapshot Buffer,Diag Trace Buffer,Task Set Full,NCQ)
[    9.541667] scsi host0: Fusion MPT SAS Host
[    9.549168] mpt2sas_cm0: sending port enable !!
[    9.551143] mpt2sas_cm0: hba_port entry: (____ptrval____), port: 255 is added to hba_port list
[    9.560508] mpt2sas_cm0: host_add: handle(0x0001), sas_addr(0x500062b200416280), phys(16)
[    9.564004] mpt2sas_cm0: handle(0x11) sas_address(0x4433221100000000) port_type(0x1)
[    9.564667] mpt2sas_cm0: handle(0x12) sas_address(0x4433221101000000) port_type(0x1)
[    9.565331] mpt2sas_cm0: handle(0x13) sas_address(0x4433221102000000) port_type(0x1)
[    9.565993] mpt2sas_cm0: handle(0x14) sas_address(0x4433221103000000) port_type(0x1)
[    9.566659] mpt2sas_cm0: handle(0x16) sas_address(0x4433221104000000) port_type(0x1)
[    9.567321] mpt2sas_cm0: handle(0x15) sas_address(0x4433221105000000) port_type(0x1)
[    9.567983] mpt2sas_cm0: handle(0x17) sas_address(0x4433221106000000) port_type(0x1)
[    9.568658] mpt2sas_cm0: handle(0x18) sas_address(0x4433221107000000) port_type(0x1)
[    9.569321] mpt2sas_cm0: handle(0x19) sas_address(0x4433221108000000) port_type(0x1)
[    9.569980] mpt2sas_cm0: handle(0x1a) sas_address(0x4433221109000000) port_type(0x1)
[    9.570638] mpt2sas_cm0: handle(0x1b) sas_address(0x443322110a000000) port_type(0x1)
[    9.571296] mpt2sas_cm0: handle(0x1c) sas_address(0x443322110b000000) port_type(0x1)
[    9.571958] mpt2sas_cm0: handle(0x1d) sas_address(0x443322110c000000) port_type(0x1)
[    9.572617] mpt2sas_cm0: handle(0x1e) sas_address(0x443322110d000000) port_type(0x1)
[    9.573275] mpt2sas_cm0: handle(0x1f) sas_address(0x443322110e000000) port_type(0x1)
[    9.573958] mpt2sas_cm0: handle(0x20) sas_address(0x443322110f000000) port_type(0x1)
[    9.578530] mpt2sas_cm0: port enable: SUCCESS
[    9.581079] scsi 0:0:0:0: Direct-Access     ATA      WDC WD4000F9YZ-0 1A02 PQ: 0 ANSI: 6
[    9.581318] scsi 0:0:0:0: SATA: handle(0x0011), sas_addr(0x4433221100000000), phy(0), device_name(0x50014ee20aad4f4e)
[    9.581554] scsi 0:0:0:0: enclosure logical id (0x500062b200416280), slot(3) 
[    9.581972] scsi 0:0:0:0: atapi(n), ncq(y), asyn_notify(n), smart(y), fua(y), sw_preserve(y)
[    9.582211] scsi 0:0:0:0: qdepth(32), tagged(1), scsi_level(7), cmd_que(1)
[    9.590212]  end_device-0:0: add: handle(0x0011), sas_addr(0x4433221100000000)
[    9.592813] scsi 0:0:1:0: Direct-Access     ATA      WDC WD4000F9YZ-0 1A02 PQ: 0 ANSI: 6
[    9.593048] scsi 0:0:1:0: SATA: handle(0x0012), sas_addr(0x4433221101000000), phy(1), device_name(0x50014ee260087932)
[    9.593283] scsi 0:0:1:0: enclosure logical id (0x500062b200416280), slot(2) 
[    9.605703] scsi 0:0:1:0: atapi(n), ncq(y), asyn_notify(n), smart(y), fua(y), sw_preserve(y)
[    9.605932] scsi 0:0:1:0: qdepth(32), tagged(1), scsi_level(7), cmd_que(1)
[    9.614305]  end_device-0:1: add: handle(0x0012), sas_addr(0x4433221101000000)
[    9.616727] scsi 0:0:2:0: Direct-Access     ATA      WDC WD4000F9YZ-0 1A02 PQ: 0 ANSI: 6
[    9.616960] scsi 0:0:2:0: SATA: handle(0x0013), sas_addr(0x4433221102000000), phy(2), device_name(0x50014ee20aae40ba)
[    9.617196] scsi 0:0:2:0: enclosure logical id (0x500062b200416280), slot(1) 
[    9.617513] scsi 0:0:2:0: atapi(n), ncq(y), asyn_notify(n), smart(y), fua(y), sw_preserve(y)
[    9.617740] scsi 0:0:2:0: qdepth(32), tagged(1), scsi_level(7), cmd_que(1)
[    9.625827]  end_device-0:2: add: handle(0x0013), sas_addr(0x4433221102000000)
[    9.631153] scsi 0:0:3:0: Direct-Access     ATA      ST8000NM002A-2KE NN03 PQ: 0 ANSI: 6
[    9.631386] scsi 0:0:3:0: SATA: handle(0x0014), sas_addr(0x4433221103000000), phy(3), device_name(0x5000c500dbe3f61c)

Kernelkonfig:

CONFIG_SCSI_MPT3SAS=y
CONFIG_SCSI_MPT2SAS_MAX_SGE=256
CONFIG_SCSI_MPT3SAS_MAX_SGE=256

Szerintem a SCSI alá költözött a driver, mert ez talán külön volt, és ott az MPT3 alatt lakik:

Device Drivers > SCSI Low Level > LSI MPT Fusion SAS 3.0 & SAS 2.0 Device Driver