OpenStack/ceph bovites - a hardware, azaz 2.16PB storage es ~1500 mag kepekben

a vasak megerkeztek, berackeltuk. alant kepes beszamolo, illetve a hardware leirasa, ha valaki azon kapna magat, hogy akar epiteni egy 2PB+-os Ceph clustert, es meg teljesitmenyt is szeretne e melle :)


ebbol a rackbol van 3db egyelore, teljesen egyformak.

a refresh soran ugy gondoltuk, hogy a computenak megmaradunk a Supermicro FatTwineknel (ennek egy elozo verziojat mar hasznaljuk), ebbol lett 12 doboznyi (96 szerver), mindegyikben

  • 1xE5-2630v3 (8c/16t @ 2.4GHz)
  • 128GB RAM
  • 2x10Gbit halozat

azaz osszesen 1536 mag, 12TB memoria, es 1.92Tbit/s halozati kapacitas

nezzuk a storage oldali hardwaret! ez 18db 36-diszkes Supermicro, amit nem raktunk tele (egyelore). ez van bennuk

  • 2xE5-2620v3 (6c/12t @ 2.4GHz)
  • 64GB RAM
  • 2x10Gbit halozat
  • 4x400GB Intel P3700 NVMe
  • 20x6TB WD Red

azaz osszesen 2.16PB es 360Gbit/s halozat

azt igertek, hogy holnapra kesz a kabelezes, egyelore igy allnak:

legkozelebb irok a szoftverrol is :-)

Hozzászólások

Szép. Mi a célja?

--
trey @ gépház

a P3700 read illetve write cache lesz a diszkek felett (bcache/flashcache/enhanceio/ceph tiering, meg nem dontottuk el), egy kartya 5 diszkhez. de mindenkepp merni fogunk. mar csak az a kerdes, hogy a fenti merest hany VM-bol gondoltad egyszerre, mert ha egybol, az nem lesz olyan jo (kb linearisan skalazodik a ceph)

> egy kartya 5 diszkhez

Az meglehetősen nagy cache arány, valószínűleg innentől értelmét veszíti a szintetikus teszt, mert úgysem azt méred vele, mint ami bármilyen valós workload mellett lesz.

> kb linearisan skalazodik a ceph

Igen, ezt gondoltam. Engem izgatott volna a worst case scenario (1 VM) de a fent említett cache úgyis kivasal mindent értéket, amíg koppanásig meg nem telik.

Ez igazi hardcore porn. Kíváncsi leszek melyik cache megoldás mellett döntötök. (Pontosabban ingyenes bértesztelést várok el, de ügyelek nehogy kiderüljön! :-))

[Mivel switcheled?]

NagyZ írta, nem olvasom el... nem olvasom el... Elolvastam... Bazz... Kettőt kérek tegnapra ;-)

--
A főnököm mindig megtartja amit ígér, ha pénzt ígér azt is!