"Összeomlott a Pécsi Tudományegyetem számítógépes szervere"

HUP cikkturkáló

Összeomlott a Pécsi Tudományegyetem számítógépes szervere

  • 171526 megtekintés

( trey | 2012. 01. 23., h – 19:55 )

Részvétem (a problémán dolgozóknak)!

--
trey @ gépház

( maszili | 2012. 01. 23., h – 20:17 )

Esetleg nem tud valaki valami konkrét infót? Milyen rendszer volt, mit jelent az, hogy összeomlott?

--
maszili

( peep | 2012. 01. 23., h – 20:19 )

Hm...nem lepődtem meg.5 éve is volt pitty-putty...szerintem nincs backup a pénzhiány miatt!

Nagyon rossz megközelítéssel a BACKUP on-line elérhető többé-kevésbé szinkronizált tartalom, míg a MENTÉS off-line (pl régebben jellemzően szalagos adattároló egységre) mentett adathalmazt, melyet vissza kell tölteni az aktív adatelérési helyre.

Pl Master-Slave felállású adatbázis esetén a BACKUP a slave rendszer, mely a master kiesésekor aktivizálódik.

a MENTÉS az adatbázis dump-ja, melyet vissza kell tölteni a felhasználáshoz, ill a dumpolás óta eltelt időben létrejött módosulások - "lost in space".

CSZ

Az az angol szó, hogy "backup" teljesen elterjedt módon használatos a "mentés" szó szinonímájaként. Mind "az elmentett adathalmaz", mind "az adathalmaz előállításának folyamata" értelemben.
Ezen felül a "backup"-nak valóban van egyéb használata is, pl. a "tartalék" rendszer/adatbázis fogalom esetében is használják. A "tartalék" szó szonímája lehet egyes esetekben a "secondary", ill. a "spare" szó is. Általában a tartalék hw az "spare" vagy "secondary" szokott lenni, a tartalék sw példány meg "backup" vagy "secondary".

A "mentés" egy sokkal szélesebb fogalomhalmazt lefedő szó, mint amit írtál. Gyakorlatilag egy adatbázisról "mentés" minden, amely az adatokat visszaállítható formában tartalmazza. Ez lehet egy dump (sql export), de lehet egy offline adatfájl másolat, vagy egy konzisztenciailag rendezett online adatfájl másolat (pl. oracle backup mode + archive logok), akár fájl szintű másolással, akár storage szintű snapshottal készült.
Az is "mentés", ami szalagra készül, de az is, ami optikai lemezre, egy külső usb diszkre, vagy ad abszurdum egy belső diszkterületre készül. Függetlenül attól, hogy a médium online vagy offline, ill. hogy egyáltalán lehetséges-e a médiumot eltávolítani.

Klinikákat is érinti:

http://bama.hu/baranya/kozelet/leallt-a-pecsi-egyetem-szamitogepes-rend…

Megjegyzem, hogy valami 4 milliárdot kapott a PTE csak a klinikai informatikai fejlesztésekre.
Plusz ilyen apróságot:

"Pénteken a Pécsi Tudományegyetemen adták át az említett 4 szuperszámítógép közül a másodikat. Ez a gép Magyarország legnagyobb teljesítményű, osztott memóriás szuperszámítógépe. A rendszert az amerikai Silicon Graphics International (SGI, a szuperszámítógépek piacának egyik vezető gyártója) gyártotta és a KFKI Rendszerintegrációs Zrt. szállította.

Az SGI UltraViolet 1000 típusú szuperszámítógép a maga kategóriájában a legújabb, legkorszerűbb technológiát képviseli. Speciális, SMP/ccNUMA (osztott memóriás) felépítésének köszönhetően a legsokoldalúbban felhasználható szuperszámítógép. A gépben Intel Xeon X7542 (Nehalem EX) típusú 6 magos processzorok találhatók, összesen 1152 mag. A számítási teljesítmény meghaladja a 10,5 Tflops értéket. A 6 Terabyte memóriát minden processzor a Numalink5 kommunikációs infrastruktúra segítségével közvetlenül eléri, megcímezheti. "

http://www.pecsiujsag.hu/egyetem/szuperszamitogepet-adtak-at-a-pecsi-tu…

Teljesen független a két dolog, más szervezethez is tartozik az egyetemen belül. Ráadásul különösen vicces lenne, ha a szuperszámítógépen futtatnák a beteg- és vizsgafelvételhez szükséges programokat (főleg mivel ugyanilyen megbízhatatlanul működik jelenleg :). Nem is tudnák megtenni, mert a hozzáféréseket a gépre a NIIF szabályozza, nem az egyetem.

Várj. Nem a storage halt meg?
(Lehet, hogy ez a hivatalos protokoll - bár, az oktatók-kutatók tudom, hogy kaphatnak hozzáférést, igaz a 0-hoz konvergál ezek száma -, de ne tudom elképzelni, hogy informálisan az egyetem vezetése ne tudna bármit megtenni, lévén, hogy itt minden így működik.. :)
Hallottam belső forrásokból, hogy nagyon nincsen megizzasztva.. :)

szerk: vannak fent friss infók:
http://www.pte.hu/

(charset-et legalább berakhatták volna)

Azért durva, hogy mekkorákat lehet buktázni egy kicsit sem olcsó megoldással is. És itt eszembe jut az MÁV-Elvira eset is...

"Jegyezze fel a vádhoz - utasította Metcalf őrnagy a tizedest, aki tudott gyorsírni. - Tiszteletlenül beszélt a feljebbvalójával, amikor nem pofázott közbe."

Úgy emlékszem, hogy ott egy IBM System Z diszk alrendszere hasalt el. Két diszk hibáját tűrte a rendszer. Arról eltérő dolgokat lehetett hallani, hogy ezt mennyire időben kezelték. De tudtommal a RAID helyreállítása közben egy harmadik diszk is kiesett, ami viszont már bukós volt. Ekkor hoztak ugyan csere diszkeket, de azok behelyezése után nem állt össze a RAID tömb. Valami firmware hibát emlegettek. A szerencsétlen üzemeltető és karbantartó mellett - az akkori információk szerint - már maga a gyártó is segíteni a próbált a helyszínen. A mentésről ellentmondásos információk voltak. De ismereteim szerint adatvesztés lett a vége. Mondjuk ezeket pletyka szinten kezeld.

"Jegyezze fel a vádhoz - utasította Metcalf őrnagy a tizedest, aki tudott gyorsírni. - Tiszteletlenül beszélt a feljebbvalójával, amikor nem pofázott közbe."

Várj. Nem a storage halt meg?

De, csak ha már felvetődött ez az ötlet eljátszottam a gondolattal, hogy milyen vicces lenne egy kutatásra szánt szuperszámítógépre rakni a nyilvántartási rendszert... :))

Hallottam belső forrásokból, hogy nagyon nincsen megizzasztva..

Mint írtam lényegtelen. Azon kívül, hogy őrült nagy baromság lenne arra a gépre feltenni egy ilyen kétes rendszert, se jogilag, se gazdaságilag nem tehetnék meg.

A kutatóknak sincs rá közvetlenül accjuk egyébként, hanem egy login gépre belépve hozhatnak létre futtatandó jobokat.

A storage állt meg hirtelen és került reboot-reboot ciklusba. Viszont erről ment a dhcp és még millió cuccos beleértve a kórházi rendszert is. DHCP nélkül meg az sem volt elérhető ami életben maradt :)

Ja és azért nincsen backup mert nem épült még meg az épület ahová az kerülne majd, mert ugye pályázat volt.... no comment

http://kovisoft.hu

Milyen storage ez? Lehet tudni? Ha csak ez a gond, akkor elvileg az adatoknak meg kell lenniük.

"Ja és azért nincsen backup mert nem épült még meg az épület ahová az kerülne majd, mert ugye pályázat volt.... no comment"

OMG. Addig is mellé kellett volna tenni nem?

--
trey @ gépház

( Dgzt | 2012. 01. 23., h – 22:56 )

Persze, hogy ez is csak velünk történik meg... Szerencsére én már letudtam a vizsgáimat, de azokat nem irigylem, akik még szerettek volna vizsgára jelentkezni az utolsó napokra.
---------------------------
Oszt jónapot!

( hunti v | 2012. 01. 23., h – 23:28 )

Nem tudom mikor omlott össze, de pénteken előre bejelentették, hogy vasárnap szerver karbantartás. Valami félresikerült volna?

( Dacr (nem ellenőrzött) | 2012. 01. 24., k – 01:06 )

Redundancia? Ekkora és ilyen fontosságú adatmennyiségnél ezt lespórolni...

Nem olcsó, de megoldható, hogy full szinkron legyen két storage között. Nem lesz gyors se, mert a primary oldal megvárja, amíg a secondary visszaigazolja a módosítást, ez pedig függ a hálózati latency értékektől, de egy enterprise rendszer általában nem arról szól, hogy gyors legyen... :)

Namost egy egyetemnek nem feltétlen van erre pénze.
--
http://wiki.javaforum.hu/display/~auth.gabor/Home

lehet, nem is nagyon bonyolult, csak pénz kell hozzá.
Legfapadosabb megoldás pl. solaris esetén, hogy két FC controlleren keresztül két storage-on van a file rendszered tükrözve. (Egyik tükörfél az egyik storage diszkjén, másik a másikon.)
Ezt meg szokták fejelni még azzal, hogy a másik storage másik gépteremben lakik, csak egy elég "vastag" üveg kapcsolat kell a két site között.

Másik megoldás, hogy storage szinten tükrözöl. Kb. bármelyik enterspájz kategóriás storage tud egy másik storage-ra tükrözni. Megfelelő sávszélesség és kis latency esetén a tükrözés szinkron tud lenni. Vagyis a technológia tud úgy működni, hogy a host IO kérés akkor lesz teljesített, amikor a másik storage-ra is kikerült az IO.

A másik storage-ra történő átállás ebben az esetben a kilensek szempontjából álltalában nem transzparens , vagyis a tartalék storage-on a fájlrendszereket a tükrözés szétszakítása után fel kell mountolni a kliensekre.

Ráadásul ezek nem is új dolgok, legalább 10 éve léteznek ilyen távoli tükrözéses mókák.

Szóval lehetőségek vannak, csak pénz kérdése.

( bigacsiga | 2012. 01. 24., k – 08:52 )

Hát őszintén remélem, hogy volt backup a jegyekről mert ugye vizsgaidőszak vége van, viszont a papíralapú indexekbe még ilyenkor nincs belenyomtatva az adat.

Ja, amúgy még két vizsgajegyem nem volt beírva...
Ismerősöm minden vizsgajelentkezéséről és jegyéről screenshotot csinál... Lehet neki van igaza.

Nalunk a Pollack karon is minden vizsgarol ill. felevkozi jegyes targyakrol termesztesen keszul papir alapu vizsgalap/teljesitesi lap, amit az oktato alair.

Ha problema van, akkor ezekrol a TO-s lanyok szegenyek betoljak kezzel, ami nem kis ido.

Szerintem menj reklamalni a TO-ra, a vizsgalap alapjan kiderul.

( bigacsiga | 2012. 01. 24., k – 08:58 )

Mégis milyen hardwermeghibásodás az amit egy jól tervezett rendszernél, megfelelő szakembergárdával ne lehetne kicserélni 12 óra alatt (Lassan már inkább 24.)?

( ToNyo | 2012. 01. 24., k – 09:07 )

Elmondom neked mert nemerted hiaba irtak le: kozponti storage. En egy masik egyetemen dolgozom ott 7/24 gold support van a storage szallitojatol ami azt jelenti hogy 2-3 nap alatt potolnak egy kifingott diszket. (Belgiumbol hozzak mert nincs raktaron, igen a szep lila ceg ami ido kozben piros lett). Bele se merek gondolni milenne, ha a storage kontroller fingana ki. Az egyetem pedig ez ellen nem tud vedekezni, megfizetni a gold supportot azok meg majd hozzak. Azt pedig egy oktatasi intezmeny nem engedheti meg maganak hogy legyen melegvaltas a 40 millkas sztoridzsbol.

Sajnos a legtöbb állami felsőoktatási intézményben kénytelenek vállalni ilyen kockázatot, mert nincs forrás. Tényleg nincs.

Eddig nem is ilyen problémával szoktak az egyetemi informatikusok a hírekbe kerülni (inkább a "kiszivárgott a Neptun sqldumpja"-jellegűekkel), ezt viszont most rendesen megszívták, szegények.

Alapvetően óriási pénzhiánnyal küszködnek az egyetemek. A költségvetésük töredékét (~felét) kapják meg állami forrásból. A többit ilyen-olyan projektekből kell összelapátolni. Az, hogy ingyenes egyetemi képzés, egy nagy lózung. Az oktatók szedik össze a pénzt az "ingyenes" oktatásra. Persze van olyan egyetem, ami viszonylag jól áll. Hirtelen a Győri jut csak eszembe. Elsősorban az is csak az Audi miatt nem küszködik. De a többi elég gáz helyzetben van.

----
"Mert nincs különbség: mindenki vétkezett, és híjával van az Isten dicsőségének. Ezért Isten ingyen igazítja meg őket kegyelméből, miután megváltotta őket a Krisztus Jézus által." (Róma 3.22-24)

http://deblogian.blogspot.com

Nincs "a" storage kontroller. Azért van benne kettő, ha az egyik elszáll, akkor se történjen semmi. Ha a backplane száll el, na az ciki, szerencsére ilyen nagyon ritkán fordul elő. Ebben az esetben is át lehet kapcsolni DR site-ra, de mint írtad, ilyen ebben a szegmensben elképzelhetetlen.

PS: Az egy kontrolleres tárolórendszerre ne építsünk nagy rendelkezésre állású szolgáltatást.

( bajnokk | 2012. 01. 24., k – 09:32 )

Közlemény
2012.01.24.
A PTE informatikai rendszerének meghibásodása miatt, a szolgáltatás átmenetileg nem elérhetõ.

A Pécsi Tudományegyetemen az elmúlt 24 órában nem sikerült helyreállítani a HP EVA 8400 központi adattároló rendszer hibáját. Az adattároló rendszerben két héttel ezelõtt végrehajtott tárhely-bõvítést követõen a rendszer belsõ szinkronizációja nem állt helyre, valamint az elmúlt hétvégi újraindítást követõen sem volt tapasztalható javulás. Végül a rendszer a hétfõ reggeli órákban váratlanul leállt.

A Hewlett-Packard helyszíni és nemzetközi szakemberei által nyújtott - egész éjszaka is tartó - gyártói támogatás eredménytelenségét követõen az Egyetem döntése alapján az informatikai rendszerek a rendelkezésre álló mentések felhasználásával kerülnek visszaállításra, még a mai napon.

Így a kritikus rendszerek közül a betegellátást támogató medikai rendszer és az oktatásban üzemelõ Egységes Tanulmányi Rendszer várhatóan 2012. január 24-én, a mai napon kora délután ismét elérhetõ lesz, az Egységes Tanulmányi Rendszerhez és a medikai rendszerhez tartozó egyéb alrendszerek, a PTE weboldala, valamint a levelezõ rendszer várhatóan a ma esti órákban lesznek mûködõképesek.

A HP szakértelméről és gyártói támogatásáról csak szuperlatívuszokban tudok beszélni. Negatívan, persze.

Mindenesetre respekt az egyetemnek, hogy ki merték írni a gyártót és a típust. Lehet, hogy a Hunger által emlegetett szupergépes leállásoknál is nagy betűkkel fel kellene tüntetnünk, hogy éppen melyik eszköz állt be és melyik gyártóra várunk. :S

Nem véletlen van az, hogy minden egyes bővítésnek úgy állunk neki, hogy az ügyféltől megkérdezzük, hogy van-e naprakész mentése. A leggondosabb előkészület mellett sem lehet abban senki biztos, hogy a bővítés problémamentes lesz. Ha biztosak lehetnénk, akkor feltételeznénk, hogy a firmware-ek mindig 100% hibamentesek. Márpedig ez baromira nincs így.

--
trey @ gépház

Ez az ügyfél baja. Arra kell felkészülni, hogy egy hardver bármikor beszarhat, leéghet, elnyelheti a föld. Ha annyira fontos a rendelkezésre-állás, akkor úgy kell megtervezni a rendszert, hogy az megfelelően hibatűrő legyen. Ha pedig erre nincs pénz, akkor ne támasszanak irreális elvárásokat a rendszerrel szemben.

Csendben jegyzem meg, hogy az ügyfél adatainak biztonságáért sem felelős a hardvergyártó vagy a 3rd party szupport. Ha az ügyfélnek nincs mentése és az adat elveszett, akkor így járt. Kivéve, ha a beavatkozás előtti mentésre is szerződött azzal, aki a rendszeréhez hozzányúlt.

--
trey @ gépház

( goodbyte v | 2012. 01. 24., k – 09:36 )

http://www.pte.hu/

"Közlemény
2012.01.24.
A PTE informatikai rendszerének meghibásodása miatt, a szolgáltatás átmenetileg nem elérhetõ.

A Pécsi Tudományegyetemen az elmúlt 24 órában nem sikerült helyreállítani a HP EVA 8400 központi adattároló rendszer hibáját. Az adattároló rendszerben két héttel ezelõtt végrehajtott tárhely-bõvítést követõen a rendszer belsõ szinkronizációja nem állt helyre, valamint az elmúlt hétvégi újraindítást követõen sem volt tapasztalható javulás. Végül a rendszer a hétfõ reggeli órákban váratlanul leállt.

A Hewlett-Packard helyszíni és nemzetközi szakemberei által nyújtott - egész éjszaka is tartó - gyártói támogatás eredménytelenségét követõen az Egyetem döntése alapján az informatikai rendszerek a rendelkezésre álló mentések felhasználásával kerülnek visszaállításra, még a mai napon.

Így a kritikus rendszerek közül a betegellátást támogató medikai rendszer és az oktatásban üzemelõ Egységes Tanulmányi Rendszer várhatóan 2012. január 24-én, a mai napon kora délután ismét elérhetõ lesz, az Egységes Tanulmányi Rendszerhez és a medikai rendszerhez tartozó egyéb alrendszerek, a PTE weboldala, valamint a levelezõ rendszer várhatóan a ma esti órákban lesznek mûködõképesek."

------------------------------------------
"Nincs ez el**szva, csak másra lesz jó!"

( scottscott v | 2012. 01. 24., k – 09:41 )

szép, azért sok sikerült meg kitartást, azért meg tényleg respect, hogy feketén, fehéren kiirták mi a gond.

ui.: ez ilyen trend, hogy az egyetemek oldala www nelkul nem elérhető? anno a sze-n is így volt :)

____________________
http://szoftvervasarlas.co.hu - elérhető árú, legális szoftverek itthon

Szabályzattól függ... dolgoztam olyan helyen, ahol egy fél perces munkához fél napos papírmunka társult egészen magas szinteken lévő engedélyezési és tájékoztatási körökkel. Szóval amíg konkrétan nem fáj senkinek a helyzet, addig nem áll neki az ember a papírmunkának... :)
--
http://wiki.javaforum.hu/display/~auth.gabor/Home

( freeoli v | 2012. 01. 24., k – 12:05 )

Sajnálom, hogy bedőltek a marketing anyagnak, mert persze van minden mint a búcsúban, meg tudunk mindent, csak a supportot fizessétek. Ha meg valami nagyon nem megy akkor mi megtettünk mindent de a kezünk úgy áll mint a pingvinnek :(

Pontosan mi volt a művelet? Bővítettek egy újabbra és próbálták a migrációt, de a régi storage tartalma akkor miért pusztult el?

( balintdavid | 2012. 01. 24., k – 14:37 )

vicces hogy a hup-ról tudom meg,h miért nem megy az ETR.
legalább egy köremailt dobhatnának hogy mi-merre-meddig, helyreállás várható ideje...

( csizmadia_zoltan v | 2012. 01. 24., k – 21:15 )

véletlenül rossz helyre került a válasz, innen töröltem, a megfelelő helyre került

kicsit kapcsolodik.

nagyot nyulni ugy lehet, ha kihagyjak a szakertot a bulibol.

Akkor viszont neha osszeomlik a cucc.

A HP-nal ugy megy ez, hogy a sajat szakaembereik a sajat kereskedoik meghatarozasa alapjan konfiguralnak. Az ugyfel szakemberei nem vesznek reszt a folyamatban szinte sehol, sot, nagyon gyakran elegendo informaciot sem kapnak. Olyan blackbox az egesz. A baj az, hogy hiaba konfigolnanak jol a HP mernokei, ha a kereskedo az arlista legaljarol akar eladni mindenkeppen; akar ertelme van, akar nem. Az ugyfelhez nem is kerul tenyleges valasztek. (oh, nektek kicsi lenne a 4400)

EVA8400 -asnak nem volt ertelme egy magyar egyetemen, de varhatoan azon nagyobb haszon lehetett, mint egy 4400 -ason.

Az ETR terhelese ennyi felhasznalora 1 pocnyi 15k rpm diszk.
ha egyeb felulbecsleseket teszek, akkor kijon cca 2 polcnyi 15k rpm diszk, es 4 polcnyi sata (eva kornyezetben fata) polc.

ez 6 polc.
EVA4400 bovitheto 8 polcig.

EVA4400 sokkal olcsobb, mint az EVA8400 ugyanannyi polccal.

emiatt az EVA8400 nem ertelmes valasztas.

Tisztaban vagyok vele, hogy az EVA8400 jobb/szebb/illatosabb, mint a EVA4400. Aoznban a T. felhasznalonak elegendo a kisebb is.

Es akkor, miert nem XP24000? muszaki indoka annak is lehetne, az meg jobb/szagosabb, mint az EVA8400. csak eppen annyira draga, hogy szoba sem jott a beszerzesnel.

Én nem egyetemen dolgozom, ezért kérdeztem, nem tudom, mit mire használnak, de ilyen user számnál el tudnék képzelni sok mindent. Azért az EVA4400 nem annyira erős..

XP24000? A HP XP az gyakorlatilag Hitachi USP V/VM, én pont azokkal dolgozom, simán szórták őket olcsóbban, mint egy combosabb EVA-t. Az persze, hogy a végén ki mit, kitől mennyiért kap, egy másik kérdés.

Én sem azon az egyetemen dolgozom, de úgy tudom, hogy az ETR csak egy része volt azon szolgáltatásoknak (a HIS is azon volt állítólag), amit a storage kiszolgált.

"Jegyezze fel a vádhoz - utasította Metcalf őrnagy a tizedest, aki tudott gyorsírni. - Tiszteletlenül beszélt a feljebbvalójával, amikor nem pofázott közbe."

Ez a nem gyenge...

"Ma már csak Imhof Gábor van előzetesben, mer bár korábban 30 millió forint óvadék ellenében szabadult, 3 millióért próbált irodatechnikai eszközöket vásárolni az egyetem költségére, ezért újra letartóztatták."

A kevéske közalkalmazotti fizetésből kipengette a harmincmilliós óvadékot :) És akkor sírnak, hogy kevés a fizetés :D

--
maszili

Könnyen kapcsolatos lehet ... beszállítás és szolgáltatás, ez pont az új storagere illik :D ... főleg az a 30 millás csúszó is elég gyanús.

Nem biztos, hogy pont ez, egy ilyen nagy költségvetésnél és egy ilyen ortodox dogmatikus rendszerben könnyen sok helyen ki lehet tolni az ablakon pár száz millát ...

Hát én szívesebben olvasnék olyan híreket az interneten az "alekosz keményet kakált tegnap" helyett, hogy "17 év munkatábori szolgálat közben elhunyt xy (gazdasági,informatikai,miniszter,stb) igazgató". Ilyen híreket olvasva sokkal szívesebben fizetném be az adót is, de sajnos Magyarországon nincs felelősségre vonás. Pl. Mr Nokia Doboz is szabadlábon.

--
maszili