2 linux osszekotese FC-n - az egyik szerver storage-kent valo hasznalataval.

Szerverek

Udv! Nem, nem IP-t vagy ethernetet szeretnek FC-n (google csak ilyen talalatokat hozott), hanem az egyik szerver diskjeit a masik szerveren hasznalni.

Adott 2 gep, egyik egy osregi supermicro de van benne 24db 2TB SAS disk, ez toltene be a storage szerepet,

a masik gep egy par eves sok cpu-s sok ramos gep, de csak egy 128GB alaplapi ssd van benne, disknek meg fizikai hely sincs.

Mindket gepben van FC kartya, 2-2db 16G-s SFP, es ossze is lettek kotve egy LC-LC optikaval, linkel is:

[    6.666869] scsi host13: Emulex LPe32000 16Gb PCIe Fibre Channel Adapter on PCI bus 06 device 00 irq 206 PCI resettable
[  967.103719] lpfc 0000:06:00.0: 0:1303 Link Up Event x1 received Data: x1 x0 x80 x0 x0 x0 0

[   25.709684] qla2xxx [0000:02:00.0]-00fb:5: QLogic QLE2692 - QLogic 16Gb FC Dual-port HBA.
[79018.483896] qla2xxx [0000:02:00.1]-500a:6: LOOP UP detected (16 Gbps).

valaki csinalt mar hasonlot? merre induljak el?  FC switchem nincs!  mindket gepen ubuntu van, de a sok diskesen tervbe van valamilyen NAS szoftver telepitese helyette, ha egyaltalan megoldhato ez a dolog. TruNAS vagy ilyesmi. abbol melyiket erdemes?

a disk nelkuli gepen pedig elkepzelheto, hogy kesobb nativ linux helyett win 2022 server + hyperv lesz...

A'rpi

( XMI | 2025. 01. 31., p – 19:38 )

Csak felületes ismereteim vannak róla, mert konkrétan FC target-et sosem csináltam (iSCSI-t sokszor, illetve FC-nél mindig EMC szerver volt a target, sajátot nem építettem).

Annyi feltűnt, hogy a SCST projektben van FC target driver is: https://github.com/SCST-project/scst ha jól látom csak Qlogic-hoz. Szóval biztos, hogy a qlogic kártya kell legyen a target oldalon.

Elvileg ez a howto hozzá: https://scst.sourceforge.net/qla2x00t-howto.html

Régóta vágyok én, az androidok mezonkincsére már!

> a qlogic kártya kell legyen a target oldalon.

megneztem, az van ott! (nem mintha nem lehetne felcserelni a 2 kartyat)

> Elvileg ez a howto

koszi, utana olvasok. a target szo emlegetese is segitseg kereseshez, nem jutott eszembe magamtol, pedig iscsi-nel en is hasznaltam...

( ollnx | 2025. 01. 31., p – 20:17 )

SCSI target kiajánlásra legutóbb (~10 éve) LIO használtam, igaz iSCSI alapon, de elvileg tudja a QLogic kártyáddal az FC-t is. Másik lehetőség az SCST ami tud ilyet linux vonalon, persze lehet kész NAS (FreeNAS/TruNAS) megoldásként megkapod.

( arpi_esp v | 2025. 01. 31., p – 23:49 )

nekifutottam a LIO-val, azaz targetcli-vel.  elvileg a target oldal jol be van allitva:

 



/qla2xxx> ls
o- qla2xxx ............................................................................................................ [Targets: 2]
  o- naa.210034800d75aa9a ............................................................................................... [gen-acls]
  | o- acls .............................................................................................................. [ACLs: 2]
  | | o- naa.100000109bcca848 ..................................................................................... [Mapped LUNs: 1]
  | | | o- mapped_lun0 ...................................................................................... [lun0 block/test (rw)]
  | | o- naa.100000109bcca849 ..................................................................................... [Mapped LUNs: 1]
  | |   o- mapped_lun0 ...................................................................................... [lun0 block/test (rw)]
  | o- luns .............................................................................................................. [LUNs: 1]
  |   o- lun0 ................................................................................... [block/test (/dev/data2vg/levono)]
  o- naa.210034800d75aa9b ............................................................................................... [gen-acls]
    o- acls .............................................................................................................. [ACLs: 2]
    | o- naa.100000109bcca848 ..................................................................................... [Mapped LUNs: 1]
    | | o- mapped_lun0 ...................................................................................... [lun0 block/test (rw)]
    | o- naa.100000109bcca849 ..................................................................................... [Mapped LUNs: 1]
    |   o- mapped_lun0 ...................................................................................... [lun0 block/test (rw)]
    o- luns .............................................................................................................. [LUNs: 1]
      o- lun0 ................................................................................... [block/test (/dev/data2vg/levono)]

 

de a maisk gep megsem latja a lun-t, reboot utan sem.

( arpi_esp v | 2025. 02. 01., szo – 00:27 )

annyit sikerult kideriteni, hogy az osszekotott wwn-ek:

kliens gepen 0x100000109bcca848   (/sys/class/fc_host/host6/port_name)

target gepen 0x210034800d75aa9b  (/sys/class/fc_host/host6/port_name)

a port_type mind2 gepen: Point-To-Point (direct nport connection), a speed: 16 Gbit, supported_classes: 3

tehat elvileg egyforma minden, kerdes hogy a kliens (initiator) gepen is be kell-e irni valahova a target wwn-jet?

(nagyon regen telepitettem redhat linuxot san-os kornyezetben, de ott siman latta mar a telepito is a lun-okat)

( debtamas88 | 2025. 02. 01., szo – 02:18 )

Szerkesztve: 2025. 02. 01., szo – 02:19

Kliensen kell a "multipath-tools", majd "rescan-scsi-bus.sh" és ennyi.
Utána lehet finomhangolni a /etc/multipath.conf -t.

hmm a rescan script pedig kilistazza:

Scanning host 6 for  all SCSI target IDs, all LUNs
 Scanning for device 6 0 0 0 ...
OLD: Host: scsi6 Channel: 00 Id: 00 Lun: 00
      Vendor: LIO-ORG  Model: test             Rev: 4.0
      Type:   Direct-Access                    ANSI SCSI revision: 06

hmm es mostmar latszik is, pedig nem eloszor futtattam:

[  392.059026] lpfc 0000:06:00.0: 0:1303 Link Up Event x3 received Data: x3 x0 x80 x0 x0 x0 0
[  392.604417] scsi 6:0:0:0: Direct-Access     LIO-ORG  test             4.0  PQ: 0 ANSI: 6
[  392.605392] scsi 6:0:0:0: alua: supports implicit and explicit TPGS
[  392.605402] scsi 6:0:0:0: alua: device naa.6001405838707ace67f4abe83b2552da port group 0 rel port 1
[  392.605989] sd 6:0:0:0: Attached scsi generic sg3 type 0
[  392.607135] sd 6:0:0:0: [sdc] 4294967296 512-byte logical blocks: (2.20 TB/2.00 TiB)

mondjuk ez nagyon messze van a 16gbittol:

targeten:

# hdparm -t /dev/data2vg/levono

/dev/data2vg/levono:
 Timing buffered disk reads: 2840 MB in  3.00 seconds = 946.00 MB/sec

kliensen:

# hdparm -t /dev/sdc

/dev/sdc:
 Timing buffered disk reads: 1094 MB in  3.00 seconds = 364.64 MB/sec

 

korabban iscsi es nbd is probaltam azok 600-800MB/s korul tudtak.

csinaltam a targeten egy 32GB ramdisket is, de a kliensen az se gyorsabb:

/dev/sdd:
 Timing buffered disk reads: 1160 MB in  3.00 seconds = 386.50 MB/sec

szoval ez ennyit tud? :(

Ez mondjuk elég halovány. Puszta feltételezés h. az SCST ennél jobbat produkál(na), ha menne. Ha ez nem deadline és megpróbálod azt összerakni egy Rocky v. OL környezetben akkor nagyon kíváncsi lennék a számokra. 10G hálózaton ceph-el is jobb amúgy kb, ez a meglepő.

nincs deadline, ez egy epp "kiselejtezett" gep, csak a sok jo disk miatt azert meg nem kene kidobni :)  szoval lehet kiserletezgetni rajta.  elso korben talan egy freenas/truenas telepitest probalok meg, csak ahhoz oda kell menni, van ugyan benne ipmi de meg az osregi javas kokanyolmany, par eve se tudtam mar mukodesre birni. esetleg ha felhuzok egy win7 vm-et valahova ehhez :)

nyaron mar iscsi-vel osszekotottem oket egy dedikalt 10g ethernet linken, az ment szepen, csak gondoltam ha mar van 2db 16g fc kartya akkor azzal meg jobb lenne...

arra mindenesetre jo volt, hogy kideruljon: hardveresen megoldhato ezzel a 2 kartyaval az fc osszekotes, innentol mar "csak" optimalizalni kell :)

Nem a win7 lesz a kulcs az IPMI hasznalataban, hanem a jol (el)konfiguralt JRE 8. En pont most szoptam egy osregi iDIRAC JNLP eletrekeltesevel Linux alatt, ha gondolod, osszekalapalom a diff-et a standard Java 8-as java.security-hez kepest.

Tekintve, hogy 1-2 naponta nezek ide fel, nem igerek gyors valaszokat.

Blog | @hron84

valahol egy üzemeltetőmaci most mérgesen toppant a lábával 

via @snq-

azt megkoszonnem. de adtal egy jo otletet, nekem is kellett regebbi drac-ok miatt matatni a java.securityvel, megnezem majd. bar ugy emlexem a supermicros ipmi mar ott elakadt hogy a webes feluleten nem is jelent meg a remote control gomb mivel nem erzekelte a bongeszoben a java supportot (helyette kiirta hogy install java plugin), szoval az olyan regi (kb 2008-as) hogy akkor meg java pluginnel ment, nem is jnlp-vel...  bar nemreg a java mikulas temaban valaki irt valami plugint amivel ez talan athidalhato.

koszi, ez nagyon igeretes! egy probat mindenkepp meger, foleg hogy egy pendriverol is elfut, nem kell gyalulni a mostani rendszert sem.

szerk: ma kiprobaltam, a 4.3.5 verziot, de sajnos nem latja a qlogic kartyat.

[root@localhost etc]# dmesg|grep qla
[   57.020637] qla2xxx_scst: module verification failed: signature and/or required key missing - tainting kernel
[   57.024387] qla2xxx_scst: unknown parameter 'ql2xiniexchg' ignored
[   57.024390] qla2xxx_scst: unknown parameter 'ql2xtgtexchg' ignored
[   57.024392] qla2xxx_scst: unknown parameter 'ql2xexchoffld' ignored
[   57.024394] qla2xxx_scst: unknown parameter 'ql2xmaxlogins' ignored
[   57.024396] qla2xxx_scst: unknown parameter 'ql2xnvmeenable' ignored
[   57.024776] qla2xxx [0000:00:00.0]-0005:
[   71.284026] [1910]: qla2x00t: Initializing QLogic Fibre Channel HBA Driver target mode addon version 3.7.0
[   71.284054] [1910]: qla2x00t: Target mode driver for QLogic 2x00 controller registered successfully
[   71.284059] [1910]: scst: Target template qla2x00t registered successfully

( hrgy84 | 2025. 02. 07., p – 17:59 )

Szerkesztve: 2025. 02. 07., p – 17:59

Buta kérdés következik, de az iSCSI Target miért van kizárva a versenyből (azt mondod, nem akarsz IP-t rajta)? Amikor én utoljára használtam, még úgy is egyszerű volt összelőni, hogy akkoriban még lövésem se volt a SAN-ok működéséről.

Blog | @hron84

valahol egy üzemeltetőmaci most mérgesen toppant a lábával 

via @snq-

nincs kizarva, az ment eddig is, de ugye egyreszt az max 10Gbit (FC meg 16), masreszt az egyetlen 10G ethernet interfacen megy a szerver netforgalma is. es kesobb tobb kliens (initiator) gep is lenne, igy be lehetne oket kotni direktbe 1-1 FC portra. meg ugy gondoltam (persze tevedhetek is) hogy FC-n kisebb a latency mint IP-n at, foleg ha meg 1-2 switch is van koztuk.

> azt mondod, nem akarsz IP-t rajta

az arra vonatkozott hogy nem netezni akarok FC kartyaval, a google csupa ilyen talalatot hozott (connecting 2 linux using FC cards), persze mostmar tudom hogy linux FC target-re kellett volna keresni :)

( zrubi v | 2025. 02. 07., p – 20:46 )

de a sok diskesen tervbe van valamilyen NAS szoftver telepitese helyette, ha egyaltalan megoldhato ez a dolog. TruNAS vagy ilyesmi. abbol melyiket erdemes?

Egyik ingyenes/community verzióban ben sincs FC támogatás.

FC-hez 'enterprise' lincencet kér ~mindegyik ilyen cucc.

vagy enterprise level Storage a másik út, de ahhoz is kell valami licenc hogy megnyikkanjon.

 

ezen okokból én 10G Etherneten iSCSI-vel csináltam régi vasból Lab Storage-et.

zrubi.hu