Kiszervezett informatika esetei

Pár éve írtam pár blogbejegyzést mikor kiszervezték az informatikánkat egy külsős cégnek (nagyon nagynak). Annyi sok bunkó megjegyzést és hozzászólást kaptam, hogy töröltem a fenébe az egészet. Most azonban így 2 év után azt gondolom leírom a tapasztalataimat hátha a megszerzett "tudás" értékes lehet másnak.

Előzmények:

Hosszabb előkészületek után a cég ahol dolgozom (közepes multi) úgy döntött kiszervezi az informatikát. A döntés bejelentésre 2018-ban került sor. Velem 2019-tavaszán közölték a nyáron lejáró szerződésem nem hosszabbítják meg. A kiszervezés utólag visszagondolva meglehetősen átgondolatlan és kidolgozatlan volt. 2019 Július 1-től vették át tőlünk a rendszereket. A régiós vezetönk kiloibizta, hogy a helyi rendszergazdák még bizonyos projekteket végig csináljanak de az informatikai feladatok lényegében átadásra kerültek.

Feladataim elég sokrétűek voltak.

1. Lokális AD szerver

2. Printing.

3. Gyár támogatás (Cimplicity, szerverek és kliensek)

4. Logisztikai szerverek és kliensek

5. Kamera rendszer.

6. Backup megoldások

7. Kisebb Linuxos megoldások közösen fejlesztett kisebb nagyobb webes és appos eszközök. 

8. Asset explorer, Tárgyi eszköz leltárban segítség.

9. Hardver beszerzés.

10. Hálózat tervezés kisebb munkáknál kivitelezés is.

11. Dokumentálás

12. Network

13. Telefon rendszer

 

Átadás:

Tessék lássék módon kismillió meeting igazi kérdések igazai átadás átvételi stratégia nélkül. Ellenőrzési pontok nélkül stb.. 

 

- Személyesen senki nem jött le a telephelyre átvenni a megnézni egyáltalán miről van szó. (egy gyárnál ez azért elég gáz)

- Végig lekezelőek voltak velünk igazából akkor jött ki, hogy a felsőbb vezetés gyakorlatilag értéktelen melónak nézte amit csináltunk (monkey work angolos szlenggel).

- Olyan érzésem volt végig, hogy az átadott dokumentációkat else olvasták.

- a jelszavak átadása félelmetesen botrányos volt gyakorlatilag Word-ben és Excelben mindenfajta óvintézkedés nélkül.

 

Átadás utáni események:

- Már az első héten előjöttek a bajok, ugyanis sokkal több ticket keletkezett mint amire szerződtek. Nem csoda kiderült ugyanis, hogy a feladatok jórésze a korábbi ticket in toolban nem került rögzítésre. Sok sok helyi probléma ami gyakorlatilag úgy került megoldásra, hogy az informatikus arra járt klikkelt párat és jó lett. Mivel a helyi informatikus ebben nem tudott a továbbiakban részt venni ezek a taskok felgyültek illetve eleve bejelentésre kerültek a ticket in toolba.

- Az első hónapban mivel a helyi IT kiszállt hirtelen nem lett senki aki a backupokat felgyülje (illetve volt csak az nem csinálta) ennek később hatalmas jelentősége lett, a szerverek patchelése elmaradt sok szolgáltatás elkezdett akadozni.

 

Az első támadás:

Augusztusban már csak olyan projekteken dolgoztam ami nem kapcsolódott közvetlen az IT-hez. Hálózat fejlesztés már csak fizikai szinten egy olyan gyárban mint a miénk azért ezek sem olyan egyszerűek. Akkoriban körülbelül 10 kilométer kábelt fektettünk le  (optika és réz) majd 300 végponttal. De még ott voltam a cégnél.

- Augusztus első hetében kaptam egy esti riasztást, hogy nem tudnak termelni mert a viewerek-be nem tudnak bejelentkezni az pedig kidobta őket (a szerverek is érintettek voltak).  Egy elrontott virus updatre hivatkoztak a kiszervezett informatikusok de megoldásuk nem volt, mivel ekkor még sokan ott voltak a régi rendszergazdákból és még a régi rendszerek dolgoztak ezért ahol volt még működő backup egyszerű visszaállítással ahol nem a lokális rendszergazda jogokkal javíthatóak voltak a gépek (a szerverekkel max addig foglalkozhattunk, hogy a külsős kolléga betudjon lépni).

A mindent elsőprő támadás:

Az első támadás után a volt Orosz kollégám már mondta, hogy ez szerinte egy nagyobb támadás előkészülete volt ezért ha ráhallgatok mentek mindent ő egyébként javasolta is, hogy minden országban minden érintett szervert azonnal állítsanak le és egy jóval korábbi állapotra állítsák vissza (nem hallgattak rá). Még akkor megtehettem így meg is tettem. És hát teljesen igaza volt. Augusztus második felében amikor már a legtöbb helyen nem volt lokális rendszergazda egy hajnali időpontban ismét riasztást kaptam. A diszpécser kollégák asztaláról eltűnt minden a logisztikai rendszerekben dettó. Na és persze a szervereken is, Igen CryptoLocker támadás. Olyan amit valószínűleg ránk terveztek. Minden lehalt. Ilyet átélni amúgy kiváltságos dolog így utólag visszagondolva elképesztő volt. Hirtelen kiderült egy ilyen cégnél is mennyi inkompetens informatikus van (akiktől amúgy papír alapján dobsz egy hasast). A főnök szinte könyörögve kérte a telephelyeken még meglévő embereket ne gondolkodjanak húzzák ki a szervereket is. Hagyják a leállítást. Mai napig visszhangzik a fejemben "DATA, DATA, DATA this is important NOW"! Kiszervezett informatika ebben a szituban szó szerint csak akadályt jelentett semmit nem tudtak csinálni távolról semmi nem ment viszont ötleteltek és próbáltak okosak lenni na az ilyenkor tényleg csak akadály. 

Mivel nekem voltak mentésem a magyarországi gyár pár óra múlva újra termelt. Mi voltunk az elsők az egész világon a Kínaiakat és az Oroszokat nem számolva akiket érdekes módon nem támadtak meg :D Természetesen offline lett minden az egész gyárat offline működtettük akkor bizony még nem tudtam de több mint egy évig. Nagyon fontos tényező volt, hogy volt visszaállítási tervem. Asztalon ki is próbáltam korábban részletesen ledokumentáltam stb.. Így mikor beütött a krach csak követtem a már letesztelt visszaállítási tervemet.

Aztán a kelet európai régió is nekünk köszönhette az adatait a DPM szerver amit a volt főnököm átrugdosott a vezetőségen (drágállták) Pesten a Telekom datacenterében dolgozott. Szintén támadás alá került de a cyptolockernek nem volt ideje a poolokat betitkosítani hamarabb állítottam le minthogy ezt megtegye. Így kézzel ugyan de ahol még nem SAP volt hanem helyi ERP és odamentődött azok viszonylag hamar talpra álltak.

Viszont az SAP szerverünk dad, a Lotus nem csak le kellett állítani azt is így lényegében az is DAD. Ott álltunk offline számítógépekkel (amik potenciálisan fertőzöttek voltak) és WORD meg Excelel. Le a kalappal a kollégáim előtt mert amit tudtak megtettek. Félelmetes volt.

Hála a Mikrotikes (kösz DevOps akadémia) tudásomnak és a kapcsolataimnak (igen jóban kell lenni a helyi kiskerekkel is mindent eldobva jöttek a segítségemre, hogy minél előbb legyenek eszközeink a meglévőket nem használhattuk) viszonylag gyorsan szereztem swicheket routereket és egy rögtönzött hálózat a támadás utáni második napon már ment. Az internet hatalmas segítség volt és az Office 365 is ami korábban bevezetésre került a támadás nem érintette az Office 365-öt (persze el kellett telnie pár napnak, hogy engedélyezzék az O365-öt használatát ellenőrizték az egészet).

Eseménydús napok voltak irodai alvással stb..

Sok más országban nem voltak ilyen szerencsések, mivel nem volt helyi rendszergazda letolt gatyával álltak, a támadók megszerezték (botrányos jelszó átadás az átadáskor) sok helyen a Qnapok és vagy Synelogyk kulcsait is lenyomták azokat is a DPM-ket szintén szóval voltak gyárak amik hetekig álltak és még utána is akadozott a termelés mert gyakorlatilag rendszereket kellet a semmiből újraépíteni. Elképesztő sztorik voltak pl egy országban valamikor régen egy kolléga lementett a fontosabb programokat egy laptopra majd ez a laptop szépen elfelejtődött és lekerült a raktárba. Aztán eszébe jutott a krizis közepén, hogy van nekik egy sok éves mentésük ami nem szerencsés de legalább eltudnak indulni. Volt gyár ami ezen múlt. 

Hogyan tudták ezt megtenni?

VLANOK és tűzfal is volt hálózaton belül is a gyár le volt védve az officettól a mostanihoz képest nem volt egy szuper biztonság de voltak óvintézkedések. A következő történt.

Korábban a lokális szerevekhez csak a helyi rendszergazdák fértek hozzá egyedi azonosítással. A kiszervezés után a kinti cégnél körülbelül 10- 15 user dolgozott az egész világon. Lehet, hogy volt 1 - 2 beépített ember a lényeg, hogy a Zabix telepítójében volt (azelőtt nem használtunk Zabbixot) a cyrptolocker és az első támadás ami a virusírtókat érintett valószínűsíthetően a kapuk kinyitásáról szólt majd mikor a legalkalmassbnak gondolták elindították a támadást. Csak a termelésben részt vevő szervereket, klienseket, és mentőegységeket nyírták ki, a fő tartományvezérlő és az SAP megúszta (SAP-et az IBM üzemeltette) de nem merték bekapcsolni a támadás után csak specialistákkal és akkor sem hálózatra kötve. Utólag visszagondolva amatőr hálózatunk volt és nem vettünk elég komolyan a támadás lehetőségét sem, de a végső döféshez kellett az, hogy a rendszergazda jogokat megkapta néhány ember akik szabadon kószálhattak a szererek közt full rendszergazda jogokkal. A lokális rendszergazdák korábban csak akkor használtak rendszergazda jogot mikor az indokolt volt. Amúgy a korlátozott jogosultságú service account volt a megengedett eszköz.

Szóval az a pár muksó akik végig telepítették a világot Zabix-al egy fertőzött telepítőt használtak és sajnálatos módon ez minden átcsúszott.

na majd ha érdekes lehet a sztori folytatom.. egyenlőre ennyi :D

Hozzászólások

Nem semmi történet... 

Error: nmcli terminated by signal Félbeszakítás (2)

Nem semmi, klassz! Köszi, hogy megosztottad!

> ticket in

az nem "ticketing" ?

Érdekes történet, szerintem folytasd.

Szerkesztve: 2021. 09. 25., szo – 10:34

Én úgy emlékszem azért törölted, mert kiderült a cégnév, amire páran aztán rákontráztak. Úgy értem a munkáltatód neve böffent fel.

Szerk: így van, jól emlékeztem. Sőt, felvetettük, hogy kurva nagy mákjuk van veled - de azt is, hogy nagy bátorság kell amúgy részt venni egy ilyen tűzoltásban. Főleg úgy, hogy kezdődött a sztori azzal, hogy "én szóltam" -> leszarták -> bekövetkezett amit mondtam -> saját tervem jött -> tűzoltó lettem -> success. Eme folyamat alapján a mai világban simán megpróbálhatják rádverni, hogy közöd volt a dologhoz, mert ilyen véletlen nincs stb. Tudod hogy megy ez, csak szét kell nézni. Nincsenek már illúzióim, BKV bérletet vásárolva & jó szándékkal megreklamálva a bénázást is elviszik a delikvenst. Lehet jobb megoldás lenne lapítani.. nem tudom, a pillanat döntené el - de mindenképpen gondolkodnék a megszólalás / csendben asszisztálás között. Ami amúgy elég szar ügy, mert jópár éve nem lett volna kérdés a megszólalás.

A leírtakat figyelembe véve én kalapot emelek neked, ellenben olyan helyen nem dolgoznék szívesen, ahol általában lenézik a munkánkat, okosabbak nálunk és még a fejünkre is szarnak. Nekem ez a halál lenne maga, akkor inkább már kimennék gyerekeket oktatni lőni. Ha tényleg semmibe néztek, és mindenki helikopter volt akkor ezek a helyzetek eleve bele voltak kódolva a történetbe.

Szóval gz és ha van folytatás.. legfőképpen konklúzió és ezt követő változások, azt én meghallgatnám, érdekes lehet.

Vortex Rikers NC114-85EKLS

Már emlékszem dyra eredeti post-jára, hogy neki drukkoltam. Meg kicsit annak is, hogy omoljon össze az informatikai rendszer az új professzionális kólerek irányítása alatt.

Következőképpen képzelem el a történet végét: a felső vezetés belátta baklövését, visszaszervezte az outsource-ingolt IT-t és kinevezte dyra-t vezetőnek. Bőséges prémiummal honorálta a hűségét és önzetlenségét, aminek köszönhetően nem lesznek már anyagi problémái. Itt a vége, fuss el véle! :-D

"Jegyezze fel a vádhoz - utasította Metcalf őrnagy a tizedest, aki tudott gyorsírni. - Tiszteletlenül beszélt a feljebbvalójával, amikor nem pofázott közbe."

De ha mégis rejtené, akkor meg a vezetői véna nem feltétlenül rejti magában a szakmaiságot jeah.
Illetve ennél bonyolultabb, mert a nálunk is érezhető Balkánon ez úgy fest, hogy sokszor semmit nem rejt magában, csak kapcsolati tőkét vagy rosszabb esetben a rokonságot :D

Vortex Rikers NC114-85EKLS

Bator dolog beleavatkozni abba ami nem a dolgod. Ez bizonyos szinteken gyanus viselkedesnek tunhet, remeljuk, hogy "az a gyanus amk nem gyanus" alapon dolgoznak. Kinlodott volna veluk a fene, foleg, hogy bentmaradok meg ilyenek. Fokent miutan hulyenek neztek. Regen mashol tevekenykednek, ez a hely neked "eleted elpazarlasa" biztos vagyok benne, hogy van hely ahol ezert a hozzaallasert, mentalitasert kinyalnak a hatsodat ha hozzajuk vinned.

Szerintem leirtam az elozonel is, hogy ezen a helyen egy tipikus tulteljesitonek tunsz akit ezert le is neznek/kezelnek.

Nem vagy jo helyen. Ez a tipikus hely ahol mindenki masnak az eppen elegsegesert mar plaketteket osztanak, hogy milyen jo vagy. A te tipusod meg a "budosbunko" kategoriaba rakjak. Fiatalabb koromban volt ilyenhez szerencsem. Gyorsan le kell lepni.

Amugy gratulalok es remelem kapsz valami elismerest, de ebbol a toxic ceges kulturabol ami atsut en inkabb a beszivatnak reszt valoszinusitenem.

Varom a konkluziot. Koszi az "elmenyt".

http://karikasostor.hu - Az autentikus zajforrás.

A Zabbixos vonalról van bővebb infód? Lehet tudni, hogy honnét szerezték a telepítőt? Gondolom itt Windows agentekről van szó, és csak remélni merem, hogy nem a https://www.zabbix.com/download_agents -ről származott.

Igazabol a remeny hal meg utoljara, de amugy rem logikus lenne a hivatalos csomagot megmokolni kivulrol. Aztan remenykedni abban, hogy a fejleszto utolag elkussolja az esetet. 

Volt mar fertozott CCleaner telepito, stb stb egeszen a fertozott Lenovo Driver Matrixig. Es ezek csak a menet kozben vagy kozvetlen utana tortent gyonasok ill. figyelmeztetesek altal felboffent esetek. Ki tudja, hogy ki es hol lapit azert, mert mondjuk 48 oran at fertozott binarist terjesztett? En peldaul nem tudom.

Vortex Rikers NC114-85EKLS

Respect a tűzoltásért, de! Ne vedd személyeskedésnek. Szerintem rengeteg cégben azért van szar szinten az IT és sok más terület, és van a béka segge alatt az emberek megbecsülése, mert pár önjelölt hős elviszi a hátán a cuccot, fizetség nélkül, csak hivatástudatból. De igazából ugyanez viszi el az oktatást, az egészségügyet, stb. Nem intuitív, de végső soron mindenki jobban jár, ha hagyod a picsába az egészet, már azon a ponton, hogy "2019-tavaszán közölték a nyáron lejáró szerződésem nem hosszabbítják meg". Hagyd rájuk dőlni a szart, és a természetes szelekció megoldja a többit. Ne legyél hős, ne tegyél olyat a munkahelyedért, amit nem viszonoznak, és ne próbáld egyéni szinten a rendszerszintű hibákat foltozgatni.

Szerintem nem éri meg lelkes hülyeként kitennie az embernek a lelkét, főleg egy sokszorosan süket cégvezetés szarból kihúzásával. Írja meg valaki, hogy egy ilyen hőstett után előléptették, honorálták (alamizsnától nagyobb mértékben), felvették egy komolyabb pozicióba, stb. bármi. Tényleg érdekel. Vagy csak a mesében fizetődik ki a tűzoltó lelkeshülye hős?

Raadasul eleg konnyen lehetne szamszerusiteni, hogy mennyivel volt beljebb a ceg. Volt orszag, ahol nem tudtak ujraindulni.

Itt rovid idon belul folytatodott a gyartas. Meg is van az osszehasonlitas alap. Azt oda lehet adni:)

Saying a programming language is good because it works on all platforms is like saying anal sex is good because it works on all genders....

De erre simán mondhatják akkor, hogy csak végezte a munkáját, ezért nem is érdemel semmi különös jutalmat. Meg egy ilyen eset után mennyire lehet meggyőzni őket, hogy mostantól ismét lesz helyi IT és rendes backup? Az lesz a válasz, hogy minek az, hiszen nem lett nagy baj.

Miert gondolod ezt celzott tamadasnak?

CryptoLockereket siman be lehet szivni ha Mancika osszevissza kattingat linkekre.

Pedig egyre gyakoribb. Az utóbbi 1-2 évben két esetben is futottam bele hasonlóba, és mindkettő hazai kkv volt. Úgy tűnik, hogy mint minden másra erre is elkezdtek ügyes üzletet építeni, szóval érdemes hozászokni a gondolathoz.

Az első fázis ugyanaz mint amit eddig megszoktunk, automatizált botnet, keresi a lehetőséget, vagy várja, hogy bejelentkezzen egy fertőzött gép. Ez lehet tényleg bármi, e-mail csatolmány megnyitása, sérülékenységgel üzemelő webszervert megtalálja a botnet, a lényeg, hogy még nem célzott támadás. Ezután van valamilyen automatizmus, ami különféle szempontok alapján X hatékonysággal eldönti, hogy a távoli rendszer milyen méretű lehet (Mancika laptopja, otthoni cuccai, vagy komplett gyár). Ha kapás van, akkor valamilyen betanított munkás jellegű level 1 human elé kerül a dolog, aki már manuálisan is körbenéz, és ha ő is úgy ítéli meg, hogy megéri, akkor jön pár hozzáértő(bb), és elkezdik szépen a folyamatot, encryptelnek, backupot keresnek és rombolnak (ha tudnak), stb... Az általam látott mindkét támadásnál a Ryuk tool/csapat volt az elkövető (5-6 hónap eltérés volt a kettő között). Bár a csapat nem teljesen biztos, olvastam hogy "lincelték" a toolt már másoknak is, illetve több néven fut, de az üzleti modell ugyanaz. Magát a Ryukot már az utolsó ember telepítette, illetve szabadította el. Az folyamatot nagyjából végig lehetett követni utólag, kezdve a botnettől a human megjelenéséig (persze csak következtetések alapján, amik logokból és egyéb eseményekből, és nyomokból jöttek, de alapvetően elég egyértelműek voltak).

Egyébként alapvetően rohadt bénák voltak, pl. az egyik helyen egy szerveren a shell history úgy nézett ki, mint amit én produkálnék 6-8 feles elfogyasztása után, illetve több bénázás is volt (pl. már rég domain admin volt az illető, de még mindig küzdött mint malac a jégen mindenfélével amik arra utaltak, hogy domain admin szeretne lenni). De hát nincs is ennél többre szükség, az ilyen rendszereken az 1 bites indiai bérmunkások is úgy mennek keresztül mint kés a vajon, lásd a jelen esetet is. Meg nincs is igazán tétje náluk a dolognak. Gondolom ezek ülnek valami hatalmas akolban éhbérért, és 16 órában ezt csinálják. Ha valamit elbasznak, vagy nem jön be, ugranak a következő ticketre, amiben megint lesz egy ilyen "ápolandó", remekül karbantartott és megtervezett rendszer.

A Ryuknál amúgy alsó hangon 700k-1m USD a váltságdíj (ha jól rémlik), és vélhetően jól megy a biznisz, sőt, gondolom nem egy ilyen "vállalkozás" működik már, illetve ők sem ezen a néven nyomulnak szerintem jelenleg. Ja jut eszembe, ami még vicces volt: TOR-on elérhető névre szóló ügyfélportált is adtak, saját loginnal és jelszóval mindkét esetben, illetve ugyanitt volt "demo" decrypter, ami 1db filet tudott decryptálni online (gondolom ezt bizonyítéknak szánták). Valamint itt lehetett elérni a supportot, illetve a BTC-s fizetést is itt lehetett volna intézni :D Amúgy abból is gondolom, hogy ezek nagyon egységsugarú bérmunkások (még a döntéshozók is), hogy nagyon benézték a dolgot. Bár mindkét szervezetnél sok eszköz volt (szerverek, storage-ok, stb..), egyik sem tudta ezt az összeget kifizetni, ezt pedig egy jól irányzott google kereséssel azért ki lehetett volna deríteni könnyen.

Ettől még persze lehet, hogy jelen esetben nem célzott volt a dolog (már ha a fenti jelenséget lehet célzottnak nevezni, a szó klasszikus értelmében), hanem az történt amit te is írtál.

Hát azért lenne még mit sorolni szerintem, de ez nem is erről szólt. Remélem hogy nem megyünk el abba az irányba, hogy állunk egy szarkupac felett, és elkezdjük magyarázni, hogy de egyébként hülye/dilettáns vagy, mert mindenki tudja, hogy ha bevontad volna arannyal, akkor a kitoláskor egyben marad :) Ha nem lett volna egyértelmű: ezek nem az én rendszereim, illetve nulla közöm van hozzájuk, az események előtt ezen cégek létezéséről sem tudtam, tűzoltáskor főleg a pálya széléről (egy-két mozzanatnál kicsit közelebbről) láttam az eseményeket, ezeket osztottam meg.

Penny wise and pound foolish. Megérdemelték :)

echo crash > /dev/kmem

Érdekelne a folytatás is. Mi lett a központi döntés? Gondolom a külső szolgáltató kiállított néhány számlát a túlmunkáról.