CEPH cluster-hez kellene halozatot osszerakni, tudnatok switch-eket javasolni?
Az OSD host-ok 40Gbe-n, a kliensek 10Gbe-n kellene hogy csatlakozzanak.
5-8 OSD host lenne (ez meg kerdeses) es kb 10 kliens
Kicsit felve kerdezem, van valakinek tapasztalata ezzel a switch-el?
Megbizhato vagy felejtos?
Netgear M4300-96X
https://www.netgear.com/business/products/switches/managed/m4300.aspx
http://www.downloads.netgear.com/files/GDC/datasheet/en/M4300.pdf
- 1543 megtekintés
Hozzászólások
Nekem ezzel van: https://mikrotik.com/product/crs317_1g_16s_rm
Proxmox cluster alatt megy, bár még csak pár hónapja használom. Eddig nem volt vele gond. Árban verhetetlen.
Az elején én is 40Gb-t akartam, de ezt sem hajtjuk ki. Egy próbát esetleg megér az ára miatt.
- A hozzászóláshoz be kell jelentkezni
Az ara tenyleg jo, de a 10Gb-t en kevesnek erzem. Normal mukodes soran lehet, hogy eleg (nyilvan felhasznalasi mod fuggo), viszont nem szeretnem, ha rebalance eseten bezuhanna az atvitel, ahogy azt sem, hogy egy napig tartson a rebalance egy nagyobb OSD kiesese utan.
- A hozzászóláshoz be kell jelentkezni
Pusztán érdeklődésből: 40G tényleg ennyivel gyorsabb lenne? A 10G elméleti felső határa 36000Gbit/óra tehát 3,6 Terra óránként. Persze a 40G nyilvén 4x gyorsabb, de 1db OSD kiesése talán egy NVME tudna csak gyorsabban írni, hogy észrevedd. De tényleg csak érdeklődésből kérdezem mert 10G-n használom és nem a hálózat tűnik szűk keresztmetszetnek.
- A hozzászóláshoz be kell jelentkezni
En nem ketlem, hogy 10G-n is jol lehet hasznalni egy CEPH cluster-t. Minden attol fugg, hogy milyen a felhasznalasi mod. Ha pontosan meg lehet hatarozni, hogy kliens oldalon mire van szukseg (IOPS, BW) akkor egyszeru eldonteni, hogy eleg-e a 10G.
En hatulrol kozelitettem meg a kerdest. Az az okolszabaly, hogy az OSD node-ok halozati kapcsolatanak gyorsabbnak kell lennie, mint az adott gepen az osszes OSD altal hasznalt HDD/SSD olvasasi sebessegenek az osszege. Igy ki lehet hasznalni a teljes atviteli sebesseget minden lemeznek, a halozat meg extrem esetben sem lesz szuk.
Esetemben ez 8x560MB/s ami ~36Gb/s. Ekkora folyamatos atvitelre nyilvan csak nagyon ritkan lehet szukseg (maskulonben alul van meretezve a cluster), de amikor megesik egy ilyen, akkor inkabb lassam kihasznalatlanul a 300 euros halokartyat, mint a 7-8000 euronyi SSD-t a gepben.
Nyilvan meg lehetne tenni azt is, hogy egy gepbe csak fele ennyi SSD-t rakok, es akkor eleg lenne 2x10Gb, de akkor meg 2x annyi OSD node kell ugyanakkora kapacitashoz, ami foglalja a helyet amiert fizetni kell, zabalja az aramot amiert megint csak fizetni kell, de mindezek elott meg is kell venni -> fizetni kell. Hosszutavon biztosan dragabban jon ki igy, mint a combosabb halozattal.
- A hozzászóláshoz be kell jelentkezni
portszam?
https://www.fs.com/products/29126.html
- A hozzászóláshoz be kell jelentkezni
akkor mar inkabb https://www.fs.com/products/69375.html
a 40 halott, akkor menjen gepenkent 2x25 inkabb szerintem
- A hozzászóláshoz be kell jelentkezni
jogos. Es ujabban cumulus is szereti oket..
- A hozzászóláshoz be kell jelentkezni
cumulus FTW, en nem vennek mar massal switchet
- A hozzászóláshoz be kell jelentkezni
milyen elonyod van belole? Azon kivul hogy felturod ra a kigeneralt configot es kesz
- A hozzászóláshoz be kell jelentkezni
mivel meg relative kis ceg, igy irto jo a support - volt olyan ticketunk, ahol 4 perc mulva mar valaszoltak, es 1-2 ping pong utan rogton fellovik labban a dolgokat.
a linux miatt kezelhetjuk ugyanugy mint barmelyik masik eszkozunket, ansible-vel
slack-en elerhetoek a sracok, nagyon jo a kapcsolatom par engineerrel (kozosen adtunk be CFP proposalokat), es segitokesz a community
kuldtek a lanyomnak bodyt, amikor megszuletett, de a Cisco is biztos kuldott volna, ugyhogy az nem szamit :)
- A hozzászóláshoz be kell jelentkezni
aha, en nem akarom linuxkent feltuntetni az infraban - onnantol jonnek az olyan faszkodasik BSI felol, hogy fusson rajta virusirto....
viszont a cisco ansible script megeszi ha jol emlekszem.
- A hozzászóláshoz be kell jelentkezni
+1 slack-en nagyon segitokeszek, ticket-et szerintem meg nem is kellett nyitni
- A hozzászóláshoz be kell jelentkezni
Mellanox SN2100/SN2700 es udv a 100 giganal :-)
- A hozzászóláshoz be kell jelentkezni
4x10G perpill elvan es jol erzi magat.... (FS S5850, intel kartyakkal)
- A hozzászóláshoz be kell jelentkezni
Nem rossz :) Ahhoz kepest, anno 2 Gbit-n bohockodtam vele...
- A hozzászóláshoz be kell jelentkezni
Hehe, sejtettem, hogy be fogsz dobni egy ilyet. :-)
Bar csak szukseg lenne 100 gigara. De sajnos nincs, igy keret sincs ra. A 40-et is csak az indokolja, hogy a rebalance gyors legyen es hogy par even belul ne kelljen hozzanyulni.
- A hozzászóláshoz be kell jelentkezni
mennyi az a 40 gigas switch? sokkal olcsobb?
a suseok 25gbet ajanlanak 40 helyett, mert kisebb a latency, es per port olcsobbra jon ki szerintuk - erdemes megnezni azt is.
az SN2100-at felfoghatjuk 64x25GbE-s switchnek is - akkor mar nem is olyan draga, nem?
- A hozzászóláshoz be kell jelentkezni
>mennyi az a 40 gigas switch? sokkal olcsobb?
Hat attol fugg, hogy milyen modulokat akarsz bele. Switch + 16x10G (RJ45) + 6x40G kb 6200 euro.
>a suseok 25gbet ajanlanak 40 helyett..
koszi, ez hasznos info. Utanna fogok olvasni.
>az SN2100-at felfoghatjuk 64x25GbE-s switchnek is - akkor mar nem is olyan draga, nem?
Ez igaz, de nincs szuksegunk 64db 25 gigas portra. Hiaba jon ki jo ar portonkent, ha a portok felet soha nem hasznalom, akkor ugyanugy kidobott penz. plusz a breakout kabelek hasznalatat is melloznem, ha lehet.
Azert szimpatizalok ezzel a netgear-rel, mert maga a switch viszonylag olcso (~3700 euro), bovito modult meg olyat es annyit veszek bele amilyen es amennyi kell. Viszont nem tudom mennyire megbizhato, ezert is kerdeztem ra.
- A hozzászóláshoz be kell jelentkezni
HDDk lesznek alatta, vagy SSDk? szamoltal mar BWt, eleg lesz a 40Gbit/host?
- A hozzászóláshoz be kell jelentkezni
SSD-k, de egyenlore csak 4db node-onkent. Plusz 4-nek van meg hely kesobbre.
A NIC meg dual portos.. Az SSD-k valami 550MB/s-t tudnak, ha be is teszek 8-at, meg ugyis az SSD-k lesznek a szuk keresztmetszet, nem a halozat.
- A hozzászóláshoz be kell jelentkezni
ja, SATA SSDhez mindegy. egy combosabb NVMe SSD mar tud 2GB/s+ readet, 8db ilyennel mar koppan a 100g
- A hozzászóláshoz be kell jelentkezni
Nem tudom mennyire kritikus a projekt, illetve milyen elvárásoknak kell megfelelni, de ha nagyon árérzékeny a dolog, és belefér a régi, garancia nélküli eszköz is, akkor vess egy pillantást az infiniband switchekre ebayen. Nagyon sokan állnak át 100G-re, és fillérekért szórják ki a régi IB switcheket (pár száz EUR-ért kapsz 36 portos Mellanoxot). Gyakorlatilag egy normálisabb belépő gigabites ethernet switch árából tudsz annyi 40G-s (vagy 56G-s) IB switchet venni, hogy bőven lesz redundancia, és még hidegtartalék is a raktárban.
- A hozzászóláshoz be kell jelentkezni
hat szopjon vele akinek 2 anyja van....
- A hozzászóláshoz be kell jelentkezni
Miért kellene vele szopni?
- A hozzászóláshoz be kell jelentkezni
parhuzamos infra, dupla uzemeltetesi overhead, heterogen infra - ugyanazok a szopok mint FC oldalon....
- A hozzászóláshoz be kell jelentkezni
Az IB switchek többsége (legalábbis amit érdemes CEPH mögé backend hálózathoz betenni) passzív, az egyetlen beállítandó dolog az a power kapcsolóval történik. Host oldalon pedig talán nem esik le senkinek az aranygyűrű az ujjáról csak mert egy kicsit máshogy kell az interfészeket bekonfigurálni (egyszer), utána meg úgyis IP alapon fog menni az egész.
Amúgy senkit nem akarok rábeszélni end-of-life állapotú bontott IB switchekre, de gondoltam itt hagyom az infót, hátha pont olyanok a körülmények és a lehetőségek, hogy hasznos lesz. A többit mindenki eldönti maga.
- A hozzászóláshoz be kell jelentkezni
Ha elég a 10G, akkor Nexus 3K-kat használatan 800-900€ környékén lehet kapni.
- A hozzászóláshoz be kell jelentkezni
Ha elég... Én direkt arra az esetre írtam "aprópénzes" 40G/56G (ráadásul low latency) alternatívát, amikor nem elég.
- A hozzászóláshoz be kell jelentkezni
Alapvetoen nem zarkozom el a hasznalt eszkozok elol, de csak olyan helyrol vennek, ahol kifejezetten hasznalt eszkozok forgalmazasaval foglalkoznak (pl gekko-computer, servershop24). Ebay-rol nem hiszem, hogy rendelnek cuccot, max valami proof of concept-hez.
IB-t nem igazan szeretnek.
- A hozzászóláshoz be kell jelentkezni
kb. 1-2 havonta vásárolunk tőlük, EU-s számla, 3-4 napos futáros házhoz szállítás.
Jellemzően Cisco cuccokat veszünk tőlük.
Idáig 2x volt garanciális ügyintézés, pl. nem a megrendelt táp volt egy switch-ben.
RMA indítása után 2 nappal megjött a másik táp, 3x kértek elnézését, a régi tápot nem kérték vissza.
De jártunk már úgy is hogy vettünk 3db 3750X-et, ebből egy vadi új volt, gyári leragasztott dobozban.
Lehet velük alkudozni is! :D
- A hozzászóláshoz be kell jelentkezni
Szuper, koszi a linket meg a tapasztalatot! Megy a konyvjelzok koze.
- A hozzászóláshoz be kell jelentkezni
Szia, majd ha döntöttél szívesen olvasnám, hogy mi lett a megoldás, kb mennyiért és miért az.
Sakk-matt,
KaTT :)
- A hozzászóláshoz be kell jelentkezni