Cluster éles környzetben

[quote:4022fe5def="drastik"]mennyi penze van ra a cegnek?

nem kotekedni szeretnek de egy pistike bt. nek ahol mondjuk az a 3 perc kieses kb. 0,0000000001 Ft kiesest jelent nem biztos hogy egy cluster epites megengedheto, aminek a koltsege x Ft ami rendelkezesre allast emeli eves szinten 0,1 %-al es ha ezt visszaszorzod hogy mekkora bevetel "nem kiesest" ertel igy el akkor x>>nem kiesett bevetel

ha erted mirol beszelek.

ha meg csak a fonok elott akarsz fittizni vagy sokat szeretnel szivni akkor hajra van egypar open project de fejleszthetsz sajat protocolt is trey is a multkor openbsdvel carpal csinalt valami hasonlot ha jol emlekszem.

meg lehet csinalni keves penzbol is (olcso desktop pc + heartbeat + network raid), mas kerdes, hogy van-e ertelme. sot, akar round robin dns-el is lehet mokazni...

[quote:36b02ea0bc="zsirfeka"][quote:36b02ea0bc="drastik"]mennyi penze van ra a cegnek?

nem kotekedni szeretnek de egy pistike bt. nek ahol mondjuk az a 3 perc kieses kb. 0,0000000001 Ft kiesest jelent nem biztos hogy egy cluster epites megengedheto, aminek a koltsege x Ft ami rendelkezesre allast emeli eves szinten 0,1 %-al es ha ezt visszaszorzod hogy mekkora bevetel "nem kiesest" ertel igy el akkor x>>nem kiesett bevetel

ha erted mirol beszelek.

ha meg csak a fonok elott akarsz fittizni vagy sokat szeretnel szivni akkor hajra van egypar open project de fejleszthetsz sajat protocolt is trey is a multkor openbsdvel carpal csinalt valami hasonlot ha jol emlekszem.

meg lehet csinalni keves penzbol is (olcso desktop pc + heartbeat + network raid), mas kerdes, hogy van-e ertelme. sot, akar round robin dns-el is lehet mokazni...

vegulis igen

off

ezt a multkor talaltam az ipf howtoban

rdr tun0 20.20.20.5/32 port 80 -> 192.168.0.5, 192.168.0.6, 192.168.0.7 port 8000

http://www.obfuscation.org/ipf/ipf-howto.html#TOC_38

aranyos:)

de mondjuk ez csak load balancer
/off

[quote:231325cbef="drastik"]ezt a multkor talaltam az ipf howtoban

rdr tun0 20.20.20.5/32 port 80 -> 192.168.0.5, 192.168.0.6, 192.168.0.7 port 8000

http://www.obfuscation.org/ipf/ipf-howto.html#TOC_38

aranyos:)

de mondjuk ez csak load balancer

katany, linux alatt is lehet ilyet netfilter + iproute2-vel. ebbol is latszik, hogy rengeteg lehetoseg van, csak meg kell talalni a megfelelot.

A google-s fiuk megcsinaltak tobb tizezer gepre a mukodo load balancing/ha clustert, szoval biztosan lehet. Csak valszeg jobban vedik a kodot, mint a pentagont. :)

http://www.hup.hu/modules.php?name=News&file=article&sid=6089

nuh megkerestem trey terheleselosztos openbsds megoldasat

A trey fele megoldast elvileg meg lehet csinalni linux alatt is:

http://ucarp.org/

Hat jelen esetben eleg a tartalek gep es ha megdoglott az elso akkor feltelefonalunk a szolgaltatonak hogy dugjak at a mazzagot :)

Csak ha mar ott egy plusz gep, akkor gondoltam jo lenne nem kihasznalatlanul hagyni az eroforrasait.
Ami meg jo lenne, hogy a ket gepen levo adatok szinkronban legyenek.

A sima tartalek gepes modszernel par ora csuszas van a ketto kozott mert ugye rsyncel tolom at az adatokat idonkent.

Most sokan azt mondjak, az okosok hogy mennyek a fenebe akkor mi a francnak nekem cluster meg minden. De ha kis koltsegbol ossze lehet hozni, hogy ha mar ugy is ott a masik gep akkor hasznaljuk is terheles elosztasra es HA-ra akkor miert ne? Ettol baja senkinek nem lesz. Es persze a kieses nem kerul tobb millioba percenkent. De szerintem sok olyan kis ceg van ahol azert jo lenne egy ilyen megoldas.

Openmosixot nem ajanlanam.
Szorakoztunk vele par hetig, tesztkornyezetben de nem sikerult normalis mukodesre birni (redhatokon, SHM patch-el)
Elosztott szamitasokra jo, de loadbalancing alkalmazasservernek teljesen alkalmatlan... (SAP ITS-t probaltunk ra heggeszteni, AGate/Wgate mindketto forkol, tehat elvileg siman migralniuk kellett volna, ehhez kepest nemnagyon mozdultak 200-as loadnal sem)
de ha tud vki linuxon olyan clustermegoldast ami hasonlo mint egy TruCluster/SunCluster/Win2k Cluster az engem is erdekelne.

[quote:6a1b5b2423="RoLi"]Openmosixot nem ajanlanam.
Szorakoztunk vele par hetig, tesztkornyezetben de nem sikerult normalis mukodesre birni (redhatokon, SHM patch-el)
Elosztott szamitasokra jo, de loadbalancing alkalmazasservernek teljesen alkalmatlan... (SAP ITS-t probaltunk ra heggeszteni, AGate/Wgate mindketto forkol, tehat elvileg siman migralniuk kellett volna, ehhez kepest nemnagyon mozdultak 200-as loadnal sem)
de ha tud vki linuxon olyan clustermegoldast ami hasonlo mint egy TruCluster/SunCluster/Win2k Cluster az engem is erdekelne.

http://www.beowulf.org/overview/faq.html

http://www.beowulf.org/overview/projects.html <<< itt egy par

vagy ez nem jo?

[quote:8cee74a7f1="drastik"][quote:8cee74a7f1="RoLi"]Openmosixot nem ajanlanam.
Szorakoztunk vele par hetig, tesztkornyezetben de nem sikerult normalis mukodesre birni (redhatokon, SHM patch-el)
Elosztott szamitasokra jo, de loadbalancing alkalmazasservernek teljesen alkalmatlan... (SAP ITS-t probaltunk ra heggeszteni, AGate/Wgate mindketto forkol, tehat elvileg siman migralniuk kellett volna, ehhez kepest nemnagyon mozdultak 200-as loadnal sem)
de ha tud vki linuxon olyan clustermegoldast ami hasonlo mint egy TruCluster/SunCluster/Win2k Cluster az engem is erdekelne.

http://www.beowulf.org/overview/faq.html

http://www.beowulf.org/overview/projects.html <<< itt egy par

vagy ez nem jo?

beowulf az nem loadbalancing/HA kategoria tudomasom szerint.
remlik, mintha a HP is elerhetove tett volna valami tru64/hpsuxos clustermegoldast 1-2 eve ingyer vagy jopenzer, de lehet, hogy tevedek.

Beowulf Clusters are scalable performance clusters based on commodity hardware, on a private system network, with open source software (Linux) infrastructure.

Each consists of a cluster of PCs or workstations dedicated to running high-performance computing tasks. The nodes in the cluster don't sit on people's desks; they are dedicated to running cluster jobs. It is usually connected to the outside world through only a single node.

Some Linux clusters are built for reliability instead of speed. These are not Beowulfs.

tehat rolinak jo lenne elvileg

http://turtle.ee.ncku.edu.tw/sgcluster/

hmmm ez erdekes

[quote:20f9555194="drastik"]Beowulf Clusters are scalable performance clusters based on commodity hardware, on a private system network, with open source software (Linux) infrastructure.

Each consists of a cluster of PCs or workstations dedicated to running high-performance computing tasks. The nodes in the cluster don't sit on people's desks; they are dedicated to running cluster jobs. It is usually connected to the outside world through only a single node.

Some Linux clusters are built for reliability instead of speed. These are not Beowulfs.

tehat rolinak jo lenne elvileg

emlekeim szerint a beowulfok elsosorban parhuzamos szamitasokra hasznalt furtok, ez pedig eleg tavol all a topikindito altal megfogalmazott load balancing/HA celoktol. az altalad idezett szovegben is benne van:

Some Linux clusters are built for reliability instead of speed. These are not Beowulfs.

a mar emlitett openmosix vagy openssi clusterek _elvileg_ hasznalhatoak lennenek HA feladatokra is, de tudommal elsosorban ezeket is HPC celokra alkalmazzak (ezek megint csak kulonboznek a beowulf furtoktol).

Hi.

Elindultam a drbd+heartbeat iranyaba. Letrehoztam a drbd deviceokat, megcsinaltam a drbd.conf-ot. Hozza rendeltem a letezo adatokat tartalmazo particiomhoz.
utana:
# drbdadm up all
# drbdadm -- --do-what-I-say primary all
Erre elindult a szinkronizasas. Felmountoltam a home konyvtarat a sajat gepemen (node1). Kozben a node2-re szepen szinkronizalt. Ezzel vegzett is sikeresen 1 ora mulva (120G-t szinkronozott)
Utana hasznaltam a gepen minden jol mukodott.

Erre most reggelre vissza erek es ujra mountolta readonly modban a file rendszert.

Jan 26 01:04:44 debian kernel: attempt to access beyond end of device
Jan 26 01:04:44 debian kernel: drbd0: rw=0, want=299106408, limit=298916344
Jan 26 01:04:44 debian kernel: EXT3-fs error (device drbd0): ext3_get_inode_loc: unable to read inode block - inode=18694145, block=37388300
Jan 26 01:04:44 debian kernel: Aborting journal on device drbd0.
Jan 26 01:04:44 debian kernel: ext3_abort called.
Jan 26 01:04:44 debian kernel: EXT3-fs error (device drbd0): ext3_journal_start_sb: Detected aborted journal
Jan 26 01:04:44 debian kernel: Remounting filesystem read-only
Jan 26 01:05:22 debian kernel: EXT3-fs error (device drbd0) in start_transaction: Journal has aborted

lemountoltam a filerendszert, utana e2fsck /dev/drbd0 , erre azt mondja hogy The physical size of the device is 37364543 blocks. Either the superblock or the partition table is likely to be corrupt.

Aztan leallitottam a drbd-t es e2fsck /dev/sda4 ezt megcsinalta. Visszatoltottem a drbd-t felmountoltam a home-ba a cuccot es azt mondja, hogy mounting file system with errors...

Szoval en csesztem el valamit vagy mi van?

Koszi, nezegettuk a beawulfot is mar.
Az a baj hogy az alkalmazasokat ahogy nezem ujra kene forditani hozza ami jelen esetben nem megoldhato:/
(zart a kod)

[quote:518a404787="RoLi"]Koszi, nezegettuk a beawulfot is mar.
Az a baj hogy az alkalmazasokat ahogy nezem ujra kene forditani hozza ami jelen esetben nem megoldhato:/
(zart a kod)

roli a freebsds sgclustert nezted mar?

[quote:31e9d72e58="drastik"]tehat rolinak jo lenne elvileg

:oops: jahogy rolinak... jol elvitatkozgatok magammal 8)

[quote:928ab14ba2="zsirfeka"][quote:928ab14ba2="drastik"]tehat rolinak jo lenne elvileg

:oops: jahogy rolinak... jol elvitatkozgatok magammal 8)

ugyan legjobakkal is megesik:)

[quote:41a05a6def="hygy"]Hat a fo rendszerben UML-ek futnak (1 UML 4 processznek latszik)

Akkor te sem hallottal meg a skas-patch-rol... :-)

Egyebkent a hozzaszolasokbol latszik, hogy lenne igeny valami ilyenre, es tobb ismerossel beszeltem hasonlo teruleteken nekik szinten jol jonne valami ilyen technologia.

[quote:d87f7b8638="hygy"]Egyebkent a hozzaszolasokbol latszik, hogy lenne igeny valami ilyenre, es tobb ismerossel beszeltem hasonlo teruleteken nekik szinten jol jonne valami ilyen technologia.

latom az olvasasi kepesegeddel baj van
itt legalabb 10fele cluster technologia elhangzott

miert nem olvasol utanna valameiknek?

Mintha meg nem hangzott volna el az LVS neve. http://www.linuxvirtualserver.org/

Szoval a kulonbozo tipusu clusterekhez ezeket erdemes probalni:
HA cluster: Heartbeat
Load balancing: LVS, esetleg OpenMosix
CPU-parhuzamositas: Beowulf

A Heartbeat+LVS kombinaciot erdemes megnezni a nem CPU-s clusterekhez.

Szia!

HA-t üzemeltetek heartbeat+drbd!
A következő szolgáltatások vannak rajta Samba, ProFtp, Pervasive adatbázis szerver. A cél az volt hogy ha kiesik a Master gép akkor a szolgáltatásait minél hamarabb átvegye a Slave gép és az adatok is szinkronban legyeneka két gép között (lehetőleg). Ez a megoldás ebben a formában nem támogatja a terhelés elosztást, de ha a Mastert és a Slave gépet kicserélnénk egy Load Balance-be kötött gépekre akkor muküdhetne a dolog véleményem szerint.

Tapasztalatok:
Mivel szinkronizálni kell a diskek közöt az adatokat amit lehet hardveresen és szoftveresen is. A hardveres jó drága (sok milliónál kezdődik) ezért mi jelenleg szoftveres megoldást használunk. A drbd kerel modult személyében. Sajnos nem minden alkalmazás szereti. Oda kell figyelni a beállításra és az alkalmazások beállításánal figyelni kell hogy minél gyakrabban hamarab kerüljön ki a dolgaik a diszkre. Ugyan nem tökéletes de olcsó! Viszonlyag gyorsan elindul a Slave gép kb : 1 perc. mire teljes értékü a kiesés észerevételétől.
Ami komoly hátáránya hogy a félépült socketek értelem szerűen ebben az esetben szakadnak (és ujra épülnek ha olyan az alkalmazás) Ez a heartbeat felépítéséből következik.

Márciusban lesz 2 éve hogy működik különösebb probléma nem volt még vele, annyi plusz van még benne hogy a kernel bonding moduljával 2 hállókartya összevan fűzve így teljesítménybe jobb mint ha csak 1x100M hálókártya lenne benne, és így még van benne redundencia is!

Üdv
kagy

[quote:9a2adb3ff0="n0b0dy"]Mintha meg nem hangzott volna el az LVS neve. http://www.linuxvirtualserver.org/

Szoval a kulonbozo tipusu clusterekhez ezeket erdemes probalni:
HA cluster: Heartbeat
Load balancing: LVS, esetleg OpenMosix
CPU-parhuzamositas: Beowulf

A Heartbeat+LVS kombinaciot erdemes megnezni a nem CPU-s clusterekhez.

elhangzott, mint ahogy az is, hogy ketgepes failover + load balancing nem feltetlenul erossege

mosma

1. failover >> carp
linkelve volt
2. load balancing >>ipf
linkelve volt

hogy nem linyukszra, hat istenem

ez egy ilyen elet

[quote:4ca14d8118="kagy"]HA-t üzemeltetek heartbeat+drbd!

en ugyanilyet csinaltam es ment is tobb mint 3 evig komolyabb gond nelkul, de nem szerettem, mert nem volt tul jo adminisztralni. az viszont teny, hogy a drbd stabil es megbizhato.

kulso diszkes megoldasnal nem feltetlenul igaz, hogy tobb millional kezdodik, meg SCSI eszkozoknel sem (nyilvan fugg a gyartotol, diszkek tipusatol-szamatol-kapacitasatol, kontrollertol stb). leteznek kulso (s)ata dobozok is, gondolom kellemesebb aron, mint a SCSI-k.

Erdeklodnek, hogy jutott e ebben a temaban valaki valamire a linuxal?

Nekem is a HA, es terheles megosztas is jo lenne (legfontosabb a HA). A szolgaltatasok? Hat a fo rendszerben UML-ek futnak (1 UML 4 processznek latszik)

Frimen esetleg jutottal valamire?

Lenne ket vas az egyik izmosabb gep masik kevesbe, eredetileg az a masodik gep csak backup gep lenne cross kabellel osszedugva, de jo lenne ha automatan atallna a masikra baj eseten es pluszba a terheleselosztas meg meg szebb lenne.

Van erre valami free megoldas linuxra?

HyGy

en heartbeat-alapu clustert csinaltam tobbet is, a legfrissebb osztott scsi diszkalrendszeres, de uzemeltettem tobb mint 3 evig network raid-es megoldast is (==remalom). openmosixet meg openssi-t en is nezegettem, de tobb okbol is elvetettem oket. lvs jo lehet terheleselosztasra, de ketgepes, failoveres megoldasrol sok jot nem olvastam. kereskedelmi termekek kozul volt szerencsem a resonate central dispatch-hez (ismerkedes szintjen), az eddigi legjobb megoldas, amit lattam, viszont jo draga, es amikor en nezegettem, nem volt meg linux verzio belole. zeus is jonak tunik, bar azt nem probaltam. open source megoldasok kozul meg a mission critical linux-fele kimberlite-ot kellene egyszer megnezni, bar emlekeim szerint mar egy ideje nem foglalkoznak a fejlesztesevel

[quote:fdd6fd9e28="Frimen"]Üdv Andrei!

Kevésbé tudományos felhasználásra kell clustert csinálnom. :wink:

Apache, Tomcat, Postgresql, Mysql, Bind, Postfix, Courier stb.
szerverek futtatásához..
Az OpenMosix-ot már nézegettem.. egy lehetséges jelölt, de mivel
márciusban indul a project, gondoltam körülszimatolok.

Fri

Attol fugg mit akarsz. Failover clustert (biztonsag, rendelkezesre-allas), vagy load balancing-ot (terheles-elosztas). Vagy mindkettot. En linuxszal csinaltam az utobbit, microsoft windows advanced serverrel mindkettot :-)

Szoval akkor nincs jo megoldas?

Szerintetek inkabb DRBD vagy ENBD? (Ket gep kozotti tukrozesre HA-hoz.)

[quote:30fcc32a36="Frimen"]Üdv!

Ki használ éles környezetben clustert: milyet, mire és milyen tapasztalatokkal?

Fri

en csak nem eles kornyezetben...

[quote:ad9ba4f94a="hygy"]Szoval akkor nincs jo megoldas?

sok jo megoldas van, kerdes, hogy melyik felel meg az igenyeidnek.

[quote:c0ff4c264b="zsirfeka"][quote:c0ff4c264b="hygy"]Szoval akkor nincs jo megoldas?

sok jo megoldas van, kerdes, hogy melyik felel meg az igenyeidnek.

mennyi penze van ra a cegnek?

nem kotekedni szeretnek de egy pistike bt. nek ahol mondjuk az a 3 perc kieses kb. 0,0000000001 Ft kiesest jelent nem biztos hogy egy cluster epites megengedheto, aminek a koltsege x Ft ami rendelkezesre allast emeli eves szinten 0,1 %-al es ha ezt visszaszorzod hogy mekkora bevetel "nem kiesest" ertel igy el akkor x>>nem kiesett bevetel

ha erted mirol beszelek.

ha meg csak a fonok elott akarsz fittizni vagy sokat szeretnel szivni akkor hajra van egypar open project de fejleszthetsz sajat protocolt is trey is a multkor openbsdvel carpal csinalt valami hasonlot ha jol emlekszem.