2 linux osszekotese FC-n - az egyik szerver storage-kent valo hasznalataval.

Szerverek

Udv! Nem, nem IP-t vagy ethernetet szeretnek FC-n (google csak ilyen talalatokat hozott), hanem az egyik szerver diskjeit a masik szerveren hasznalni.

Adott 2 gep, egyik egy osregi supermicro de van benne 24db 2TB SAS disk, ez toltene be a storage szerepet,

a masik gep egy par eves sok cpu-s sok ramos gep, de csak egy 128GB alaplapi ssd van benne, disknek meg fizikai hely sincs.

Mindket gepben van FC kartya, 2-2db 16G-s SFP, es ossze is lettek kotve egy LC-LC optikaval, linkel is:

[    6.666869] scsi host13: Emulex LPe32000 16Gb PCIe Fibre Channel Adapter on PCI bus 06 device 00 irq 206 PCI resettable
[  967.103719] lpfc 0000:06:00.0: 0:1303 Link Up Event x1 received Data: x1 x0 x80 x0 x0 x0 0

[   25.709684] qla2xxx [0000:02:00.0]-00fb:5: QLogic QLE2692 - QLogic 16Gb FC Dual-port HBA.
[79018.483896] qla2xxx [0000:02:00.1]-500a:6: LOOP UP detected (16 Gbps).

valaki csinalt mar hasonlot? merre induljak el?  FC switchem nincs!  mindket gepen ubuntu van, de a sok diskesen tervbe van valamilyen NAS szoftver telepitese helyette, ha egyaltalan megoldhato ez a dolog. TruNAS vagy ilyesmi. abbol melyiket erdemes?

a disk nelkuli gepen pedig elkepzelheto, hogy kesobb nativ linux helyett win 2022 server + hyperv lesz...

A'rpi

( XMI | 2025. 01. 31., p – 19:38 )

Csak felületes ismereteim vannak róla, mert konkrétan FC target-et sosem csináltam (iSCSI-t sokszor, illetve FC-nél mindig EMC szerver volt a target, sajátot nem építettem).

Annyi feltűnt, hogy a SCST projektben van FC target driver is: https://github.com/SCST-project/scst ha jól látom csak Qlogic-hoz. Szóval biztos, hogy a qlogic kártya kell legyen a target oldalon.

Elvileg ez a howto hozzá: https://scst.sourceforge.net/qla2x00t-howto.html

Régóta vágyok én, az androidok mezonkincsére már!

> a qlogic kártya kell legyen a target oldalon.

megneztem, az van ott! (nem mintha nem lehetne felcserelni a 2 kartyat)

> Elvileg ez a howto

koszi, utana olvasok. a target szo emlegetese is segitseg kereseshez, nem jutott eszembe magamtol, pedig iscsi-nel en is hasznaltam...

( ollnx | 2025. 01. 31., p – 20:17 )

SCSI target kiajánlásra legutóbb (~10 éve) LIO használtam, igaz iSCSI alapon, de elvileg tudja a QLogic kártyáddal az FC-t is. Másik lehetőség az SCST ami tud ilyet linux vonalon, persze lehet kész NAS (FreeNAS/TruNAS) megoldásként megkapod.

( arpi_esp v | 2025. 01. 31., p – 23:49 )

nekifutottam a LIO-val, azaz targetcli-vel.  elvileg a target oldal jol be van allitva:

 



/qla2xxx> ls
o- qla2xxx ............................................................................................................ [Targets: 2]
  o- naa.210034800d75aa9a ............................................................................................... [gen-acls]
  | o- acls .............................................................................................................. [ACLs: 2]
  | | o- naa.100000109bcca848 ..................................................................................... [Mapped LUNs: 1]
  | | | o- mapped_lun0 ...................................................................................... [lun0 block/test (rw)]
  | | o- naa.100000109bcca849 ..................................................................................... [Mapped LUNs: 1]
  | |   o- mapped_lun0 ...................................................................................... [lun0 block/test (rw)]
  | o- luns .............................................................................................................. [LUNs: 1]
  |   o- lun0 ................................................................................... [block/test (/dev/data2vg/levono)]
  o- naa.210034800d75aa9b ............................................................................................... [gen-acls]
    o- acls .............................................................................................................. [ACLs: 2]
    | o- naa.100000109bcca848 ..................................................................................... [Mapped LUNs: 1]
    | | o- mapped_lun0 ...................................................................................... [lun0 block/test (rw)]
    | o- naa.100000109bcca849 ..................................................................................... [Mapped LUNs: 1]
    |   o- mapped_lun0 ...................................................................................... [lun0 block/test (rw)]
    o- luns .............................................................................................................. [LUNs: 1]
      o- lun0 ................................................................................... [block/test (/dev/data2vg/levono)]

 

de a maisk gep megsem latja a lun-t, reboot utan sem.

( arpi_esp v | 2025. 02. 01., szo – 00:27 )

annyit sikerult kideriteni, hogy az osszekotott wwn-ek:

kliens gepen 0x100000109bcca848   (/sys/class/fc_host/host6/port_name)

target gepen 0x210034800d75aa9b  (/sys/class/fc_host/host6/port_name)

a port_type mind2 gepen: Point-To-Point (direct nport connection), a speed: 16 Gbit, supported_classes: 3

tehat elvileg egyforma minden, kerdes hogy a kliens (initiator) gepen is be kell-e irni valahova a target wwn-jet?

(nagyon regen telepitettem redhat linuxot san-os kornyezetben, de ott siman latta mar a telepito is a lun-okat)

( debtamas88 | 2025. 02. 01., szo – 02:18 )

Szerkesztve: 2025. 02. 01., szo – 02:19

Kliensen kell a "multipath-tools", majd "rescan-scsi-bus.sh" és ennyi.
Utána lehet finomhangolni a /etc/multipath.conf -t.

hmm a rescan script pedig kilistazza:

Scanning host 6 for  all SCSI target IDs, all LUNs
 Scanning for device 6 0 0 0 ...
OLD: Host: scsi6 Channel: 00 Id: 00 Lun: 00
      Vendor: LIO-ORG  Model: test             Rev: 4.0
      Type:   Direct-Access                    ANSI SCSI revision: 06

hmm es mostmar latszik is, pedig nem eloszor futtattam:

[  392.059026] lpfc 0000:06:00.0: 0:1303 Link Up Event x3 received Data: x3 x0 x80 x0 x0 x0 0
[  392.604417] scsi 6:0:0:0: Direct-Access     LIO-ORG  test             4.0  PQ: 0 ANSI: 6
[  392.605392] scsi 6:0:0:0: alua: supports implicit and explicit TPGS
[  392.605402] scsi 6:0:0:0: alua: device naa.6001405838707ace67f4abe83b2552da port group 0 rel port 1
[  392.605989] sd 6:0:0:0: Attached scsi generic sg3 type 0
[  392.607135] sd 6:0:0:0: [sdc] 4294967296 512-byte logical blocks: (2.20 TB/2.00 TiB)

mondjuk ez nagyon messze van a 16gbittol:

targeten:

# hdparm -t /dev/data2vg/levono

/dev/data2vg/levono:
 Timing buffered disk reads: 2840 MB in  3.00 seconds = 946.00 MB/sec

kliensen:

# hdparm -t /dev/sdc

/dev/sdc:
 Timing buffered disk reads: 1094 MB in  3.00 seconds = 364.64 MB/sec

 

korabban iscsi es nbd is probaltam azok 600-800MB/s korul tudtak.

csinaltam a targeten egy 32GB ramdisket is, de a kliensen az se gyorsabb:

/dev/sdd:
 Timing buffered disk reads: 1160 MB in  3.00 seconds = 386.50 MB/sec

szoval ez ennyit tud? :(

Ez mondjuk elég halovány. Puszta feltételezés h. az SCST ennél jobbat produkál(na), ha menne. Ha ez nem deadline és megpróbálod azt összerakni egy Rocky v. OL környezetben akkor nagyon kíváncsi lennék a számokra. 10G hálózaton ceph-el is jobb amúgy kb, ez a meglepő.

nincs deadline, ez egy epp "kiselejtezett" gep, csak a sok jo disk miatt azert meg nem kene kidobni :)  szoval lehet kiserletezgetni rajta.  elso korben talan egy freenas/truenas telepitest probalok meg, csak ahhoz oda kell menni, van ugyan benne ipmi de meg az osregi javas kokanyolmany, par eve se tudtam mar mukodesre birni. esetleg ha felhuzok egy win7 vm-et valahova ehhez :)

nyaron mar iscsi-vel osszekotottem oket egy dedikalt 10g ethernet linken, az ment szepen, csak gondoltam ha mar van 2db 16g fc kartya akkor azzal meg jobb lenne...

arra mindenesetre jo volt, hogy kideruljon: hardveresen megoldhato ezzel a 2 kartyaval az fc osszekotes, innentol mar "csak" optimalizalni kell :)