Gigafelhő üzemeltetése Magyarországról, Európának (x)

Címkék

Elsőre ma már úgy tűnhet, hogy a nagy, hyperscaler felhőszolgáltatókkal a cloud szegmensben nem igazán lehet versenyezni, hiszen azok kiterjedt, globális infrastruktúrája és szolgáltatáspalettája minden igényt lefed, az adattárolás technikai részleteivel kapcsolatos feladatokat pedig teljesen leveszi az ügyfelek válláról. De mi a helyzet akkor, ha éppen ez utóbbi területen van szükség szoros kontrollra beleértve az adattárolás fizikai helyszínét, és a helyi törvényi megfelelést?

Erre a problémára nyújt megoldást a DT-ITS az Open Telekom Cloud szolgáltatással, amely a hagyományos, „nagy” szereplőkéhez hasonló infrastruktúra (IaaS), platform (PaaS) és szoftver (SaaS) szolgáltatási portfóliót is kínál, mindezt ugyanakkor szigorúan (fizikailag is) Európán belül. Az adatok lokációja számos ügyfélnek kiemelten fontos szempont, hiszen a felhasználói, illetve vállalati információk sok esetben elengedhetetlen, hogy Európán belül maradjanak, illetve megfeleljenek a GDPR előírásainak.

FUTBALLPÁLYÁNYI SZERVERPARK, OPENSTACK ALAPOKON

Ennek megfelelően a 2016-ban indult Open Telekom Cloud (OTC) adatközpontjai egytől egyig az öreg kontinensen találhatók, az összesen négy komplexumból kettő Németországban, kettő pedig Hollandiában épült fel – üzemeltetésükért pedig magyar csapat felel. Lényegében a teljes platform üzemeltetés Magyarországról történik  – legyen szó az új szolgáltatások, funkciók bevezetéséről vagy épp a patch-ek implementálásáról. A hazai csapat már közel száz kollégát tömörít, akiknek a száma folyamatosan növekszik.

 

Igazán különleges dolog, hogy a mai, hyperscalerek által uralt piacon van lehetőségünk Magyarországról belelátni egy ekkora felhő belsejébe. Az elején rengeteg kihívással kellett megbirkóznunk a startup jellegű működés és a gyors ütemű fejlesztések miatt, de ezeket idővel leküzdöttük. Jelenleg a legnagyobb nehézséget az igények folyamatos növekedése következtében kialakuló emberi erőforrás hiány okozza - mondja Gombár Zoltán, az OTC üzemeltetés vezetője, aki gyakorlatilag a 2016-os indulás óta részese az OTC fejlődésének.

 

Gombár Zoltán az OTC üzemeltetés vezetője, gyakorlatilag a 2016-os indulás óta részese az OTC fejlődésének.

Az OTC négy adatközpontjában mintegy 17 ezer fizikai szerver dolgozik, amelyek a hálózati eszközökkel együtt összesen már egy futballpályányi területet megtöltenek, mintegy 500 petabájt összesített tárolókapacitással. A komplexumok 300 Gbps sávszélességű internetkapcsolattal dolgoznak, három külön betáp-vonallal. Ezek rendkívül impozáns méretek Európai viszonylatban is, a kereslet ügyféloldalon pedig folyamatosan nő, így további bővülések várhatóak.


Gombár Zoltán – Global Chapter Lead of OTC Operations

A saját adatközpontokon felül az OTC hibrid cloud szolgáltatást is kínál, ahol az eszköz az ügyfélnél található, azok üzemeltetéséről pedig a DT-ITS gondoskodik – ilyen ügyfél például a Svájci Szövetségi Vasutak. Ha pedig már az ügyfélkörnél tartunk, a cég legnagyobb vásárlója a beszállító Huawei Aspiegel névre hallgató leánya, amely a röviden HMS-ként ismert Huawei Mobile Services backend szolgáltatást biztosítja az anyacég okostelefonos felhasználóinak. Esetében az OTC így százmilliós nagyságrendű végfelhasználó készülékeit szolgálja ki.

Maga a felhőplatform OpenStack alapokon nyugszik, annak beszállítója pedig a Huawei, amely Huawei Enterprise Cloud termékét faragja a DT-ITS számára az európai igényekhez. A Huawei az OpenStack nyílt forrású közösségének is oszlopos tagja, és a platform fejlesztéseinek egyik legaktívabb résztvevője. A félévente élesedő, új OpenStack kiadásokat a cég rendre beépíti saját termékébe is, amelyek aztán az európai verzióba is lecsorognak.

Az Enterprise Cloud természetesen az OpenStackben megszokott szabványos interfészekkel dolgozik, így teljes mértékben kompatibilis a vanilla platformmal is, leegyszerűsítve a hozzá, illetve az OTC felhőjéhez szabott fejlesztéseket. Az ügyfeleknek az Open Telekom Cloud szolgáltatásait persze grafikus felületen is lehetőségük van maguknak összekattintgatni, a VM erőforrások kiosztásától a különböző egyéb SaaS eszközök használatba vételéig, ugyanakkor az összetettebb feladatokhoz programozott Terraform, illetve Ansible megoldások bevetésére is lehetőség van.

AGILIS MÓDSZERTAN, E2E FELELŐSSÉGI KÖRÖK

Az OTC üzemeltetésében a munka már jó ideje nem a klasszikus, monolitikus munkarendben zajlik, a vállalat 2019 elején állt át agilis módszertanra, az ismert Spotify modellt követve. A felállás nagyon hasonlít a fejlesztésben ma már megszokottakra, az üzemeltetők agilis squadokba tömörülnek, amelyek end-to-end felelősséggel bírnak a szolgáltatás bizonyos szegmensei kapcsán. Ehhez igazodva a vállalaton belül is dedikált Storage, Compute, Big Data és egy sor egyéb squad teljesít szolgálatot. Az eredetileg elsősorban szoftverfejlesztésre létrejött módszertanra való átállás nem volt magától értetődő, egy sor átfogó folyamat, illetve a változáskezelés is decentralizálódott, teljes mértékben egy-egy squad felelősségi körébe került, így azok a korábbi, merevebb működéshez képest jóval gyorsabban, autonóm módon hozhatnak meg döntéseket.

A cél, amely felé a vállalat halad, a Google-től is ismert SRE, azaz Site Reliability Engineering: hogy a potenciális infrastruktúrát, illetve operációt érintő problémákat a szoftverfejlesztés bizonyos aspektusait átemelve tudja a lehető leghatékonyabban megoldani. Ehhez a DT-ITS széles körű automatizációt is bevet, a manuális, visszatérő feladatok teljes leváltására – ezáltal az ügyféligények kielégítésére jóval több erőforrást hagyva. A jövőben a cél, hogy a cloud teljesen automatikusan, beavatkozás nélkül legyen képes az egyes ügyfelek kódjainak leginkább megfelelő erőforrások allokálására, miközben az ügyfelet metrikákkal, költség-előrejelzésekkel is kiszolgálja. Ez az auto scaling működés egyébként az OTC bizonyos szolgáltatásaiban már most megtalálható. Gombár Zoltán szerint:

 

Az agilis működés egyértelmű pozitív hozadéka, hogy erősödött a kollégák tulajdonosi szemlélete és az agilis csapatokon belüli együttműködés, aminek látható kihatása van a hatékonyság növekedésére. Egy ilyen környezetben számomra a vezető szerepköre is megváltozik, sokkal inkább előkerül a servant leadership szemlélet, amely a gyakorlatba átültetve inspirálja a csapattagokat, támogatja a közös gondolkodást.

 

ÁTJÁRHATÓ KARRIERUTAK, ORSZÁGOS "LEFEDETTSÉG"

Magyarországon az OTC üzemeltetők a DT-ITS mind a négy telephelyén jelen vannak, a csapatok Budapest mellett Pécsen, Debrecenben és Szegeden is dolgoznak. A magyarországi squadokba a hazai szakértők mellett nemzetközi együttműködés keretében is érkeznek külföldi, német, francia, szlovák vagy épp indiai és kínai kollégák – de beszállítóként a Huawei szakemberei is folyamatos támogatást nyújtanak a vállalatnak.

 Az említett, közel száz fős létszámon felül a vállalat folyamatos gyakornoki programmal igyekszik bővíteni az üzemeltetői gárdát, jelenleg is mintegy tizenöt gyakornok dolgozik az OTC üzemeltetői kötelékében. Emellett a cég a Pécsi Tudományegyetemen külön cloud képzést is vezet, amelyben a kollégák is aktívan közreműködnek.

A képzési kezdeményezésekre, nemzetközi nyitásra már csak azért is szükség van, mert a megfelelő cloud és OpenStack tudás továbbra is hiánycikknek számít a munkaerőpiacon. Az Open Telekom Cloud üzemeltetői csapata ugyanakkor házon belül is mindent megtesz ennek javítására: a biztos Linux tudással, illetve általános cloud ismertekkel érkező jelentkezőket tárt karokkal várja, és belső akadémia programmal segít nekik ezekre az alapokra magabiztos OpenStack jártasságot építeni. A tréningek a cégen belül nem csak a frissen érkezőknek folyamatosak, a DT-ITS a teljes gárda tudását rendszeres képzésekkel tartja naprakészen – nem csak a szigorúan vett üzemeltetési és OpenStack témakörökben, de akár soft skillek, agilis, scrum master, stb. tudás elsajátításában is.

Ennek köszönhetően a vállalaton belül a különböző, rendszeradminisztrátori, mérnöki, architekti munkakörök, illetve akár az agilis karrierutak, scrum master, product owner szerepek között is van átjárás, hogy mindenki biztosan a saját elképzeléseihez, erősségeihez legjobban igazodó szerepet tudjon felvenni.

[A DT-ITS megbízásából készített, fizetett anyag.]

Hozzászólások

Valaki vilagositson fel. Egy AWS/GCP/Azure eseten nem megoldhato, hogy garantaltan Europan belul maradjon az adat?

Dublin van, meg még több failover DC, illetve a németeknél van fullos. Anno ahol melóztam, ott a státusz miatt rendes papíros szerződésben vállalta az MS, hogy csak extrém katasztrófa esetén kell az adatok migrálniuk az USA-ba.

Az EU és USA között van egyébként egy Data SafeHarbour egyezmény, ami elvben biztosítja, hogy az adatok az adatgazda helyének megfelélően kezelhetőek.

Mit jelent a biztosan? Az USA törvény alapján ha amerikai a cég, akkor az ottani hárombetűs az itteni adatokban is túrhat.

A cégnek meg tagadni kell.

Ugyanakkor ha ez a felhasználás nem zavar, akkor nyugi van, mert reklám célokra viszont nem adják el, és a régióból sem viszi ki ha olyan a konfigod. Sok jó certjük van, hogy GDPR compliant-ek

Onnantól, hogy a szerverek Magyarországon kívül vannak semmilyen jogszabály nem jelent 100% védelmet. Ha a német titkosszolgálatok akarnak valamit ugyanúgy megkapják mint az Usákok. Szóval van itt egy OpenStack felhőszolgáltatás, ami se nem olcsóbb se nem jobb mint amit az igazi profiktól, Amazon/Google/Microsoft is kapnánk. Passzióból nem turkálnak az ügyfelek adataiban sem az Amazonéknál és többi usák neves szolgáltatónál sem Telekomnál. De állami parancsa ugyanúgy megteszik itt is ott is. 

Az Amazon szvsz optimalizáltabb felhőt ad, nem véletlenül velük kezdődött az ügyfeleknek szolgáltatott AWS-sel a kereskedelmi felhőszolgáltatások története. A Google sem kispályás belső csak náluk használt optimalizációs technológiák terén. Saját szolgáltatásaikhoz, csak maguknak már az Amazonnal egy időben, talán korábban is használtak felhőt. GoogleFs kapásból olyan extra amit egy OpenStack nem tud. Ott van további csillió belső optimalizáció kerneltől szerver szintig, amiknek a kódját soha nem osztotta meg a Google, hiába opensource. A szolgáltatás viszont jobb és gyorsabb tőle. A Microsoft előnye főleg akkor érezhető, ha Windows technológiákkal integrálva használjuk az Azuret. Itt is hátrányban van az OpenStack. 

Nem azt mondom, hogy rossz lenne az OpenStack, remek felhős technológia. De egy szinttel lejjebb van mint az Amazon/Google/Microsoft trió felhős szolgáltatása. Ha megkötjük ezt a kompromisszumot azért, hogy nálunk legyenek a szerverek a felügyeletünk alatt, országos szinten értve, akkor azoknak a szervereknek Magyarországon kell lenniük. Németország, Hollandia nem jó.

“Az ellenség keze betette a lábát”

Megoldható. AWS: Dublin, Stockholm, Párizs, Milánó.
https://aws.amazon.com/about-aws/global-infrastructure/regions_az/
A szolgáltatások regionálisak így adott vpc, ec2, ebs, s3, rds, tehát az adat régión belül marad.

Ha nem akarsz harmadik félnek hozzáférést adni, akkor ott a KMS CMK, vagy titkosítsd az adatokat lokálisan, feltöltés előtt (mondjuk ez nagyobb veszély az adatvesztésre IMHO, de ki mekkora rizikót tud vállani..).

Az hogy az adatok ne kerüljenek állami kézbe jelen esetben nem realisztikus elvárás, nincs szolgáltató amelyik megvédene.
 

Egyvalamivel pontositanam a leirtakat: nem az biztositja mindezt,hogy a szolgaltatasaik regionalisak,hanem a vallalasuk erre (ld. alabb),illetve az eziranyu tanusitvany(ok), szabalyozasi megfelelesek stb:

"Storage: You choose the AWS Region(s) in which your content is stored. You can replicate and back up your content in more than one AWS Region. We will not move or replicate your content outside of your chosen AWS Region(s) without your agreement, except as necessary to comply with the law or a binding order of a governmental body."

Certek tomegei: https://aws.amazon.com/compliance/programs/

"region-redundant követelmény" -> de ez extra feature, amit kerni kell, nemde? Tehat lehet nem kerni.

"1 régió kidöglése esetén 1 másik régióban futó példányok veszik át az aktív szerepet" -> ez mar eleve egy olyan HA felallas, ahol VM-ek kulon lokacioban futnak szandekosan.

A kerdesem az lenne, hogy van-e olyan scenario, hogy a user tudta/beleegyezese nelkul a VM-ek atvandorolnak egy tok mas DC lokaciora, akar EUn kivulre.

A feltett kérdés: Ha egy public cloud szolgaltatonal egy lokacion belul van minden (compute, storage, backup, stb.), akkor milyen esetben tud megis atvandorolni mashova?

A válasz a feltett kérdésre: pl. region-redundant követelmény esetén te szeretnéd kérni h. 1 régió kidöglése esetén 1 másik régióban futó példányok veszik át az aktív szerepet

Erre anno nekünk az O365 kapcsán azt mondták, hogy mindíg van egy fallback DC és egy másik DR jellegű DC, tehát az adatok és egyebek több helyen vannak. Nyilván amíg átáll a routing és a rendszer egy DC kiesésekor az idő, de az nem rossz, hogy utána megy tovább az élet.

Már írtam, hogy anno felénk papíros szerződésben vállalta az MS, hogy csak szuperlegeslegvégső esetben költöznek az adatok el. VM-ek esetén szerintem szintén hasonló él, hogy egy közeli DC-be van valamilyen szintű storage tükrözés/replikáció, de még az is lehet, hogy ezt nem adják egyáltalán a sima VM-ekhez. Nincs erről valamilyen Azure doksi? Az MS szereti ezeket leírni. :)

Szerintem az, hogy egyszercsak átugrik 1-2 régiót az nem valószínű. Valszin tisztában vannak vele, hogy hipphopp csak úgy jogilag sem lehet összevissza mozgatni a VM-et, pláne mert nem tudják milyen adatok vannak rajta.

Eleve storage-ot tukrozni (sync mirror) nem lehet tulzottan tavolra a kesleltetes miatt. Tipikusan egy lokacio ket DC/epulete kozott szokott lenni ilyen.

Async replikalassal persze el lehet vinni az adatot messzebbre, de az specialis kezelest igenyel. Nem gondolnam, hogy ez altalanos szolgaltatas lenne minden VM szamara.

A backup szamara mindenkepp erdemes tavolabbi (megadott) lokaciot hasznalni, de annal se gondolnam, hogy csak ugy magatol bejarja a Foldet a tudtunk nelkul...

Ezeket én tudom, viszont azt nem tudjuk, hogy hányszor 100G-s link van két "közeli" (Dublin és valami Holland) MS DC között. A Hyper-V-ben mindenképp van teljes replikáció funkció, ami időközönként átküldi a dolgokat a DR site-ra. Gondolom a felhőjük alatt lévő cucc, azért komolyabbra képes.

A backup megint kérdés, hogy hogyan és mennyire készül vagy rábizzák a felhasználóra. El kell olvasni a publikus szolgáltatás leírást. Bár arra tippelek, hogy adatért nem tudnak felelősséget vállalni, hiszen azt csak tudhat, akié az adat.

Jól látom, hogy Huawei hw+sw alapokon megy a rock'n'roll? Nem lesz probléma az 5G-s core VM-ekkel?

Tegyétek a cuccot Moszkvába, hisz az is Európában van.