az also compute gepek Dell FC630-ak: 2x16 mag @ 2.1GHz (E5-2683v4), 768GB RAM, 4db/2U, osszesen 1408 mag es ~33.8TB memoria 22U-ban
a kozepso compute gepek Supermicrok: 2x32 mag @ 2.35GHz (AMD EPYC 7452), 1TB RAM, 4db/2U, osszesen 1280 mag es 20TB memoria 10U-ban
a felso storage Supermicro, gepenkent 10x3.84TB Samsung PM983, osszesen 440TB
a jobb oldali szorny egy 60kW-os APC huto, ha valakit erdekel :)
itt a hatulja, meg kabelezetlenul (az egesz rack nem fer bele, mert nincs akkora latoszogu kamera a telefonomon):
- NagyZ blogja
- A hozzászóláshoz be kell jelentkezni
- 841 megtekintés
Hozzászólások
gagyi
- A hozzászóláshoz be kell jelentkezni
Az IBM-nél Supermicro és Dell. :)
- A hozzászóláshoz be kell jelentkezni
Oke, de mennyi cryptot szamol, meg mit ? :)
Every single person is a fool, insane, a failure, or a bad person to at least ten people.
- A hozzászóláshoz be kell jelentkezni
OpenShift + Ceph lesz rajta
- A hozzászóláshoz be kell jelentkezni
nice.
amugy mire hasznaljak - marmint milyen alkalmazas megy az egesz 'tetejen'?
- A hozzászóláshoz be kell jelentkezni
minden. minden IS! :)
oszinten: fogalmam sincs. a belso ID-val barki belephet es futtathatja amit akar, aztan ha lassu/elfogy valami, akkor bovitunk.
- A hozzászóláshoz be kell jelentkezni
A középső szekrényt nem tudtam értelmezni.... nice :)
Ha már pr0n, akkor hátulról is lehet kép a kábelezésről? :)
- A hozzászóláshoz be kell jelentkezni
az meg nincs kesz, beraktam egy olyan kepet ahol pucer :)
- A hozzászóláshoz be kell jelentkezni
Szexi :)
- A hozzászóláshoz be kell jelentkezni
Ceph nagyon komálja a lehető leggyorsabb storage networköt. Főleg, ha NVME diskek az OSDk. Nem láttam pontosan, mivel megy a ceph hálója?
- A hozzászóláshoz be kell jelentkezni
2x25GbE a terv jelenleg - ha ramerunk, es nem eleg, akkor majd at lesz rakta 100GbE-re.
- A hozzászóláshoz be kell jelentkezni
LACP-vel vlanozva?
Ha jól tudom, a 25ösnek ugyanannyi a pingje chip alapon mind a 100asnak, mert az csak 4 csatorna összefogva. Ceph-hez meg hétköznapi használatban a minél alacsonyabb latency kell, csak nem fogtok 10GB/s környékén írni olvasni....
Nice!
- A hozzászóláshoz be kell jelentkezni
unnumbered BGP-vel hirdet loopback /32-ot kifele es ECMP default gatewayje van - az LACP egy szornyu dolog:)
igen, a 25-os latencyje ugyanaz, mint a 100ase, jol tudod - a 200 es a 400 mar izgibb lesz, ha vegre jon (mar nem kell sokat varni!)
10GB/s meg siman megvan, a mostani storagen vannak 30GB+/s peakek.
- A hozzászóláshoz be kell jelentkezni
tegnap kezdtem el atszerelni 2x100GbEre a storage gepeket...
- A hozzászóláshoz be kell jelentkezni
Wow!
Remélem cephnél nem lesz az a zfs+nvme bugi, ami most sokakat izzaszt, a drive timeout...
Az előző storage is ceph? Az is nvme?
- A hozzászóláshoz be kell jelentkezni
van erre valami linked? gondolom valami zfs agymenes (meg mindig fos gondolom a zfs teljesitmenye nvmekkel?)
az elozo cephunkben is vannak NVMek, es semmi baja, de nem olyan sok, ~100TB
- A hozzászóláshoz be kell jelentkezni
Én CEPH-ezek proxmox-szal, zfs a boot driveokon van, az meg nem eszik sokat.
Linus-nak volt mostanában egy videója, ahol összefoglalja hogy mennyi külső segítséggel is mennyit szívott: https://youtu.be/xWjOh0Ph8uM
- A hozzászóláshoz be kell jelentkezni
se proxmoxot se zfst nem hasznalok:) ha zfs specifikus az nvme issue akkor nem is fog erinteni - ezert kerdeztem, hogy van-e linked.
- A hozzászóláshoz be kell jelentkezni
lesz link?:)
- A hozzászóláshoz be kell jelentkezni
Mennyi egy ilyen kis gépecske villanyszámlája? :) Doom fut rajta?
- A hozzászóláshoz be kell jelentkezni
a dual AMD Rome-ok alig esznek, ~310Wott mertunk maximum teljesitmenyen
az NVMeket meg nem tudom
- A hozzászóláshoz be kell jelentkezni