Linux erőforrások egyesitése (Grid)

Linux-haladó

Hello,

Ugyan sokat olvastam a Gridekről mostanában , de nem találtam rá a nekem megfelelőre, vagy még nem teljesen tisztultak le bennem a dolgok. Remélem vannak itt nálam hozzá értőbbek.

Amit szeretnék, hogy több gép erőforrásait össze tudjam fűzni, és lényegébe egyként lássam.
Triviálisan fel kell telepíteni valamilyen keretrendszert minden egyes node-ra, ezzel még nem is lenne probléma.
De a lényeg hogy ha bejelentkezem ebbe a rendszerbe akkor, egyben lássam az összes cpu-t memoriát mindent, és ugyan ugy tudjak rajta parancsokat, alkalmazásokat futtatni mint egy simpla linuxon.

Amiket eddig találtam ott jobokat kellett írni és azon keresztül lehetett különböző feladatokat végrehajtani. Amennyiben lehetséges ezt szeretném elkerülni, hogy a már elkészült programjainkat modosítani kelljen.

Köszi az infokat.

  • 3071 megtekintés

( calamari | 2012. 01. 18., sze – 12:18 )

Ajánlom ezt a könyvet: Maarten van Steen, Andrew S. Tanenbaum: Elosztott rendszerek - Alapelvek és paradigmák
Ha jó emlékszem ilyen a PC-s világban nincs, ehhez olyan hardware és oprendszer kell, ami erre képes, de fixme.

( Rt711 v | 2012. 01. 18., sze – 12:20 )

Szerény tudásom alapján:

"Amit szeretnék, hogy több gép erőforrásait össze tudjam fűzni, és lényegébe egyként lássam.
Triviálisan fel kell telepíteni valamilyen keretrendszert minden egyes node-ra, ezzel még nem is lenne probléma.
De a lényeg hogy ha bejelentkezem ebbe a rendszerbe akkor, egyben lássam az összes cpu-t memoriát" pont.

PVM, MPI tudja ezeket, nem többet. Schedullert még le kell akasztani hozzá.

"Amennyiben lehetséges ezt szeretném elkerülni, hogy a már elkészült programjainkat ne kelljen modosítani."

Ezekhez át kell.

-
Debian Squeeze

Ha jól értem egy SSI rendszerre gondolsz. Van pár ilyen projekt, én a mosix-al játszottam 2004 körül, azóta a projekt kissé meghalt. A többit most találtam, ergo nem tudok róluk semmit se mondani.

http://kerrighed.org/wiki/index.php/Main_Page
http://openmosix.sourceforge.net/
http://openssi.org/cgi-bin/view?page=openssi.html
http://www.il.is.s.u-tokyo.ac.jp/ssi/

( Batman | 2012. 01. 19., cs – 17:44 )

Tovább keresgettem és teláltam egy megoldást ami nekem jó lehet/lehetne:
http://www.kerrighed.org/wiki/index.php/UserDoc

A probléma vele hogy nem igazán aktív már a projekt! :(
De lényegében arról szolt amit én szerettem volna, tftp-n bebootolnak a node-ok egy serverre és arra a szerverre beloggolva egyben láthatjuk és használhatjuk a node-ok erőforrásait.

Esetleg tud valaki egy aktív hasonló projektről?

( iwanabeguru | 2012. 01. 19., cs – 23:08 )

Szerintem neked inkább cloud kell és nem grid. A saját gépeidből kéne egy helyi cloudot csinálni?

Vagy nagy marhaságot beszélek?

Nagy marhaságot beszélsz. A cloud nem erről szól.
Persze a grid sem.

Az SSI (single system image) lenne az a fogalom, amit a kérdező keres, de általános célú, elterjedt, "mezei" operációs rendszerből ilyen nemigen létezik. Próbálkozások voltak, de egyik sem futott be igazán (vagy már rég meghalt, pl. az SCO-é).

Az ezekkel a gond, hogy ha valami meglevő op.rendszert - amit nem olyanra terveztek, hogy ez menjen benne - szeretnénk ilyenre átalakítani (tipikus példa: valami UNIX), akkor mindenféle elméletileg se nagyon megugorható akadályozó tényezőkkel találkozhatunk. És akkor vagy nem lesz teljesen transzparens a végeredmény, vagy spéci hw kell, vagy annyira komoly teljesítménykorlátjai lesznek a megoldásnak, hogy a kutya se fogja használni.

( KissT | 2012. 01. 20., p – 01:55 )

Jóreggelt :D

Vigyázz belelóg a kezed a bilibe...

( gdes | 2012. 01. 20., p – 07:57 )

Alapvetően két dolog van: 1 cluster, 2 smp előbbi független node-ok összekötve gyors hálózattal, utóbbi hw-ben. Csak az utóbbiban látod egy rendszernek a gépet. A grid meg egy harmadik dolog, általában a cluster vagy smp gépek hálózata.
https://computing.llnl.gov/tutorials/parallel_comp/

( Fisher v | 2012. 01. 20., p – 09:02 )

Ugye a meglévő programok durván jól skálázódnak SMP rendszereken? Amiket mi használunk néha, azok általában fel is vannak készítve pl. MPI kezelésére. Ami viszont eleve nincs felkészítve többszálú futtatásra, az sose lesz gyorsabb.