Banki szerverrendszerek – így üzemeltet a Morgan Stanley (x)

 ( hup | 2013. április 29., hétfő - 8:53 )

A Morgan Stanley sokkal inkább befektetési bankként, mintsem tech-cégként él a köztudatban, habár a vállalat hatalmas informatikai infrastruktúrát működtet, amit belsőleg fejleszt és üzemeltet. Az informatikai rendszerek nem csak “szükséges költségtényezőnek” számítanak a vállalatnál, hanem valódi versenyelőnyt próbálnak faragni belőlük. Cikksorozatunkban olyan területeket mutatunk be, ahol a vállalat IT szakemberei, köztük a budapesti csapat hozzájárul a Morgan Stanley sikereihez.

A Morgan Stanley számos adatközpontjában rengeteg UNIX/Linux szerver működik. A gépeken a Red Hat Linux és Solaris különböző verziói adják az infrastruktúra alapjait. Ezeket a rendszereket saját igényeinek megfelelően konfigurálva használja a bank. Az így kapott rendszerképeket pedig alapos belső tesztelésnek vetik alá. A Solaris használatát sok más mellett a kiváló ZFS fájlrendszer is indokolja, amelynek előnyei és megbízhatósága miatt a rendszert x86-os alapokon is használják. Az adatok tömörítésével sikerült elhagyni a fájlszerverekhez üvegszállal csatolt külső tárolóeszközöket, és a ZFS önjavító képessége lehetővé teszi, hogy adatvesztés esetén az adat-újraszinkronizálás napok helyett órák alatt megtörténjen.

Az egzotikus fájlrendszerek használata más területeken sem áll távol az üzemeltető csapattól. A frissítések gyors kiszolgálására például egy több tucatnyi szerverből álló AFS-alapú fürtöt (klasztert) használnak. Ez az elosztott rendszer rendkívül hatékonyan tudja elvégezni illetve kiszolgálni a rövid időre nagyon nagy terhelést okozó feladatokat, például sok száz szerver egyidejű elindítását.

A befektetési bank számos adatközpontot üzemeltet Ázsiában, az Egyesült Államokban és Európában. A tucatnyi adatközpontban több tízezer szerver működik folyamatosan. Ilyen nagyságrend mellett a meghibásodások a napi munka részét képezik, amelyre szervezeti szinten is fel kell készülni. A Morgan Stanley-nél ezért a UNIX rendszerekkel foglalkozó globális csapatban több tucat munkatárs folyamatos, 24 órás váltásban dolgozik. Ilyenkor jön elő egy globális nagyvállalat előnye: minden váltás nappal dolgozhat, mivel különböző kontinensekről látják el feladataikat.

A biztonságos működésre helyezett hangsúly egyik nagyon fontos eleme a rendszerek egységesítésére való törekvés, ami az esetleges, egyedi megoldások lehető legteljesebb kizárását jelenti. Az üzemeltetők minden feladatot igyekeznek automatizált módszerekkel, scriptekkel és házon belül fejlesztett alkalmazásokkal megoldani, valamint a szerverekhez dokumentált, követett (és visszafordítható) módon hozzányúlni. A konfiguráció központi tárolása és programokon keresztüli, lekövethető kezelése alapkövetelmény. A szabványos, egységesen kezelt rendszerek előnye még az is, hogy a hibakeresés is sokkal gyorsabban, gyakran automatizáltan lezajlik.

A nagyszámú banki rendszer üzemeltetéséhez szükség van a támogató csapat funkcionális felosztására is. Ezt a Morgan Stanley úgy oldja meg, hogy az üzemeltetés három csoportra oszlik. Az első szint az „ügyfélszolgálat”, ezt a csapatot hívják az ügyfelek először, és a riasztások is ide érkeznek. A második szinten a kollégák előre megírt, alaposan tesztelt és rendszeresen felülvizsgált eljárások szerint kezelik a rutinfeladatokat, például az új rendszerek telepítését, vagy megoldják a már ismert felhasználói problémákat. A harmadik szinten, ahol a budapesti csapat is dolgozik foglalkoznak mindennel, ami új, vagy váratlan, illetve ők írják meg az eljárásokat és közreműködnek a házon belüli alkalmazások fejlesztésében.

Ez a három szintű felépítés bevett gyakorlat a nagy informatikai rendszereket üzemeltetőknél. Amiben a Morgan Stanley többre képes, az a rugalmasság, hatékonyság, összehangoltság és csapatmunka. A harmadik szint nem fél közvetlen kapcsolatba lépni a felhasználóval ha kell. A második szint sem csak vakon végrehajt eljárásokat, hanem a talált hibákat kezeli, javítja, illetve megbeszéli a harmadik szinttel. Hasonlóan, az első szint sem csak „egy hang a telefonban”, hanem az ott dolgozó munkatársak követik és felismerik a hibajelzések mintázatát, gyakoriságát és földrajzi elhelyezkedését is, így már néhány hibajelzés után tudják jelezni ha egy fontos rendszer működésében zavarok keletkeznek.

Ilyenkor lát munkához a Morgan Stanley elit csapata, amely a világ számos területén, Európában, Amerikában és Ázsiában található szakemberekből áll össze a megoldandó problémának megfelelően az érintett területek szakértőiből. Ilyenkor jól jön az, hogy az IT szervezet magasabb pozícióiban is sok-sok éves tapasztalattal rendelkező veterán informatikus dolgozik, akik az ad-hoc hibakezelő csoportok vezetését látják el és alaposan ismerik a bank rendszereinek sajátosságait és egyedi jellegét.

A jól bejáratott folyamatoknak és a maximális hibatűrésre tervezett rendszereknek köszönhető az is, hogy a Morgan Stanley a természeti katasztrófákat is leállás nélkül vészelte át. Például az Észak-Amerika keleti partját sújtó, számtalan informatikai rendszert elhallgattató Sandy hurrikán, amely a new yorki tőzsdét is két napos leállásra késztette, a céget sem kímélte. A különböző nehézségek ellenére a Morgan Stanley globális rendszerei azonban megszakítás nélkül működtek, ami nem csak a rendszerek, de a munkatársak jól szervezettségének és példamutató együttműködésének volt köszönhető. Igazi csapatmunkára volt szükség ahhoz, hogy az áradás, áramkimaradás és közlekedés lebénulása miatt kiesett ottani kollégák helyett a globális csapat tagjai, köztük a budapesti csapat, zökkenőmentesen átvegye a rendszerek felügyeletét, a problémák kezelését.

További információk a Morgan Stanley-ről: www.morganstanley.hu

(A Morgan Stanley megbízásából készített anyag.)

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

És most mi van? Állás vagy miazisten? Mongyuk azt sem értem, hogy a linkelt oldalon miért van fenn a Nagyvásárcsarnok?

Nekem cégismertetőnek tűnik.

HR image kampány for you

ha a job bankre vagy kivancsi, jobboldalt ottvan a "Learn about careers in Budapest".

"Az egzotikus fájlrendszerek használata..." huh, hat ize, ilyen kontextusban meg soha nem gondoltam a szakmamra. :) Ketsegkivul uj dimenziok nyiltak meg most elottem....

"a vegtelenbe es tovabb..."

mitől egzotikus egy fájlrendszer? :-) a 4 legnagyobb linugz disztró nem azt használja defaultnak?

AFS-t? nem hiszem.

Nem szoktam efféle észrevételeket tenni, de ezen felnevettem: "Ezeket a rendszereket saját igényeinek megfelelően konfigurálva használja a bank." <-- no shit?! egyedi ;) OK, értem, mit akartak mondani... de mivel ez egy, a figyelem felkeltését célzó anyag, elolvashatta volna egy szaki is kiadás előtt :)

/etc/lib/lu/plugins/lupi_bebasic

Nekem ez bulls**t dumának tűnik. Minden komolyabb cég így csinálja 10000+ alklamazott felett. Máshogy nem is csinálhatják nagyon. (Mármint nagyvonalakban, elméleti síkon)Inkább arról beszélj ami minden komolyabb cég rémálma. A személyre szabott fejlesztéseknél hogyan megy a tudás átadás. Hiszen egy M.S. tulajdonában lévő saját fejlesztésről más cégnél nem szerezhetsz tapasztalatot és álláskeresésnél sem mész vele semmire ha egy M.S-re specializált applikációban király vagy ami sehol máshol nincs.

"Nekem ez bulls**t dumának tűnik"

Oda van írva, hogy hirdetés, kicsit talán túlreagáljátok a dolgot :-)

Jogos.

kösz :-)

Egyébként örülni kell, hogy Magyarországon ilyen cégek is megtelepednek és munkát adnak és bizony tetszik, nem tetszik hozzák magukkal a modernebb kultúrát és munkamorált, problémamegoldási stb módszereket.

Mindannyiunknak jó ez, több cég közül választhatunk. És ne feledjétek, az ICT iparág Magyarországon elég jól átvészelte a válságot, még tavaly is az 1.7%-os GDP csökkenés mellett is növekedett, ami azért nem semmi.

Köszönhető ez az ilyen cégeknek is. Az MS-t személyesen nem ismerem, az üzemeltetését főleg nem, én picit más vonalon vagyok, de tudtommal ott elég feszes a tempó ( enyhén fogalmaztam? :-) ) és inkább gyár jellege van(?), de mindenki elgondolkozhat, hogy akar-e egy ilyen céget, nevet, gyakorlatot a CV-jébe. Szerintem mindenképpen van ott mit tanulni és ez a lényeg.

A kozzetett anyag celja valoszinuleg mas - de szakmai portalon - ha nem is ebben ugyanebben a cikkben - az elert szakmai eredmenyeket is meg lehetne osztani.

Ha valaki kivancsi Solaris & AFS szakmai reszekre, akkor pl. nezze meg Robert Milkowski prezentaciojat. Dtrace segitsegevel jopar AFS problemat orvosoltak. pl. (slide utolso oldalarol masolva):

Fixes (all in upstream)
Introduce CV for FSYNC thread during initialization
Allow for larger hash sizes
Increase the default value
Fileserver warns about out of range value

Pre-attach volumes in batches rather than one at a time
For 1.5mln volumes distributed across three vicep partitions
All data is cached in memory, no physical i/o
Before the above fixes it took ~10 minutes to pre-attach
With the fixes it takes less than 10s
This is over 60x improvement (better yet for more volumes)

http://conferences.inf.ed.ac.uk/eakc2012/slides/AFS_on_Solaris_ZFS.pdf

Mondjuk ezen problémák jó része máshol nem is nagyon jelentkezik, nagyságrendbeli különbségek okán :)

Meg az is elképesztő, hogy Solarisra migráltak Linuxról...

Miért tartod annak?

/etc/lib/lu/plugins/lupi_bebasic

Az általános irány éppen ennek a fordítottja.

Ez tény. (És meg is értem, ámbár nem szakmai nézőpontból. De nekem ez az irány kedvesebb.)

/etc/lib/lu/plugins/lupi_bebasic

Viszont ez nem egy általános feladat :)

Az általános irány a költségek lepadlózása, sok esetben ez a licensz költségek lefaragását jelenti...

s/kolléga/munkatárs/g
_______
16,67 %