GPU-val megtámogatott hálózati forgalomelemzés

Szerszám

NvidiaTesla

Az Amerikai Egyesült Államok energiaügyi minisztériumának (U.S. Department of Energy) Fermi Nemzeti Laboratórium intézményénél dolgozó egyik hálózati mérnök a hétköznapi grafikus feldolgozóegységek (GPU) egy lehetséges új felhasználási területét fedezte fel - a hálózati forgalom adatainak valós idejű feldolgozását.

Wenji Wu szerint a GPU-ra épülő hálózati elemzőeszközök képesek arra, hogy lépést tartsanak egy 10Gbps (vagy akár több) sebességű hálózaton áthaladó összes forgalommal. A szakember kutatásának eredményeit az SC 2013 szuperszámítógép-konferencia rendezvényen ismertette ezen a héten Denverben.

A hálózati elemzőeszközök manapság küzdenek azzal, hogy a gyorsabb hálózatok forgalmát valós időben fel tudják dolgozni. Az elterjedt eszközök vagy x86 vagy alkalmazásspecifikus integrált áramkör (ASIC) alapúak. Wu szerint mindegyik platformnak megvan a maga korlátai.

Az x86-nál a memória sávszélesség és a számítási teljesítmény hiánya, az ASIC-nél pedig a bonyolultság, a nehézkes (drága) programozhatóság és a feladatok párhuzamosíthatóságának hiánya a probléma.

Wu szerint itt jön képbe a GPU-k. Kiváló párhuzamos végrehajtási modellel, nagy memória sávszélességgel rendelkeznek és könnyen programozhatók.

Wu a hatékony, GPU-alapú hálózati elemző elméletét bizonyítandó, összeépített egy prototípust, amely egy NVIDIA M2070 GPU-ból és egy közönséges hálókártyából állt. A megépített rendszer előnye, hogy könnyen bővíthető igény szerint újabb GPU-kal. A GPU-alapú rendszer egy egymagos, CPU-alapú hálózati elemzőnél akár 17-szer, míg egy hatmagos, CPU-alapú rendszernél akár háromszor gyorsabb volt.

Részletek itt.

( XMI | 2013. 11. 23., szo – 15:21 )

"fedezte fel" ?
Úgy hangzik, mintha meglepetésszerűen valami előre nem látott lehetőségbe futott volna bele. :) Ok értem, hogy az eredeti cikkben "has found a potential new use" szerepel, és ebből lett lefordítva. De azért tudjuk nagyon jól, hogy valójában az ilyenek mögött egy szisztematikusan eltervezett kutatás-fejlesztési projekt szokott állni.

Az elterjedt eszközök vagy x86 vagy alkalmazásspecifikus integrált áramkör (ASIC) alapúak.
Meg FPGA alapúak is. Amik történetesen a két fenti megoldás említett hátrányait egyben küszöbölik ki, és valószínűleg a GPU-alapú megoldásra is legalább egy nagyságrendet vernek rá teljesítményben. 40Gbit-es FPGA-alapú analizátorokat már 2 éve is lehetett kapni. Itt is az eredeti cikkből jön a hülyeség.

Az egyetlen reális előnye a GPU-knak az FPGA-alapú megoldásokkal szemben, hogy GPU sokkal elterjedtebb fajta hardver, míg az FPGA kártyák elég ritka, speciális hardvernek számítanak.
---
Régóta vágyok én, az androidok mezonkincsére már!

Rövide: bitcoin egy virtuális, létező pénz forma. Mivel virtuális ezért számítógép áll mögötte, szóval akkor fel is lehet törni, a törését nem cpu hanem gpu végzi.
Részletek:http://bitcoin.hu/
Tudom mesének hangzik de igaz, másrészt szerintem a gpu-kban is nagy erőforrás lehetőség van, amiről nem beszélnek szerintem.

Mi vagyok én tőzsdei alkalmazott? Amúgy csináljunk inkább közösen egy btc bányagépet, még egy haverom beszállna, igaz 25 nem osztható 3-al de akkor majd minden hónapban más kapja meg az 1 btc-t.
Mindössze egy nagyon erős vasra van szükségünk amiben a gpu dominál.

FPGA: az FPGA-kat kb az ASIC mellé lehet tenni. Arra is szokták használni, hogy FPGA-n kifejlesztik a programot, majd kis alakítás után legyártatják ASICként.
Elég gyorsak is vannak, de egy-egy processzor az 500etől a 2-3MFt-ig. Nagyon bonyolult áramkör kell hozzájuk, stb stb stb.

FPGA: az FPGA-kat kb az ASIC mellé lehet tenni
Pont az a lényeg, hogy itt nem ASIC pótléknak használják. A forgalomanalizátorokban az a matchelni kívánt szabályokat egy fordító menet közben tölti rá az FPGA-kra. Vagyis kb annyira dinamikusan programozható, mint egy full szoftveres megoldás (btw komolyabb teljesítményt teljesen szoftveres esetben is kódgenerátor+előfordításos módszerrel tudnak elérni). Ráadásul van olyan FPGA-s architektúra, amiben a teljesítmény egyáltalán nem függ a szabályok komplexitásától.

Nagyon bonyolult áramkör kell hozzájuk
Valójában az FPGA elég egyszerű fajta áramkör. Csak sok kell belőle.
---
Régóta vágyok én, az androidok mezonkincsére már!

Nem úgy értettem, hogy pótlék.

Nem az fpga a bonyolult, hanem a GHzes áramkor, amit tervezned kell hozzá és az 100 láb, több féle táp stb.

Viszont ezt a futó fpga-ba kódot nem tudom, hogy hogyan érted. Szerintem arra gondolsz, amikor MCU-t implementálsz és arra tudsz kódot letölteni.

Én is csak főiskolán láttam őket, meg az NI által beépítve, és az nem most volt :)

Mondjuk a témába ez már erősen nem vág :)

Engem rendkívül érdekelne, hogy egy ilyen netgpu meddig jutott, mire képes. Csak jó lenne róla valami eredmény, visszajelzés, bármi, hogy érdemes-e vele foglalkozni.

Nem embedded microcontrollerre gondolok (ha jól dekódolom az MCU-t). Arra, hogy ténylegesen az FPGA LUT-ok tartalmát működés közben is újra lehet tölteni. Nyilván kifejezetten fejlesztenek ilyen alkalmazási területre jól használható FPGA típusokat.

Másrészt szerintem egy FPGA-t nem bonyolultabb körberakni áramkörrel, mint egy ASIC-ot (hát még egy mai GPU-t), de erről a részről tényleg kevés a hand-on tapasztalatom.
---
Régóta vágyok én, az androidok mezonkincsére már!

Azert az vedd eszre, hogy ez az "egyetlen elony" a legnagyobb elony! Tulajdonkeppen csak ez szamit. Nem arrol van szo, hogy megoldott egy problemat amit eddig nem tudtak megoldani, hanem, hogy megoldotta _olcsobban_. (A cikk ugyan nagyobb sebessegrol beszel, de ez egysegre lebontva nyilvan olcsosagot jelent.)

( SzBlackY | 2013. 11. 23., szo – 18:16 )

> (vagy akár több) sebességű

Hmm...

BlackY

( procika v | 2013. 11. 23., szo – 18:59 )

Wenji Wu --> Amerikai Egyesült Államok energiaügyi minisztériumának (U.S. Department of Energy) Fermi Nemzeti Laboratórium

Aztán csak egyszer nehogy hazafi legyen...

( secretx v | 2013. 11. 24., v – 09:03 )

Nem olvastam vegig az eredeti cikket, de a Suricata csipobol tudja mar a cudas feldolgozast...
Azt mar csak halkan jegyzem meg, hogy 10 gigat normalis par proci/rammal is ki lehet szolgalni..

---------------------------------------------------
Hell is empty and all the devils are here.
-- Wm. Shakespeare, "The Tempest"

1. Egy TDK esetén azért nem annyira elvárás, hogy világviszonylatban is elismert nagyszabású tudományos áttörést érjen el. Nem mondom, hogy nem fordul néha elő, de azért ne misztifikáljuk túl. Inkább alkalmazott tudomány, illetve kisebb alapkutatási eredmények fordulnak elő. Ezzel magyar viszonylatban még mindig az egyetemek többsége feletti színvonalat hoz (nagyjából az ELTE-n és szegeden néhány tanszék tudja még ugyanezt).

2. A publikálás viszont más tészta. Bizonyos mértékig egyet kell értenem vele. De tegyük hozzá, egész nemzetközi "nívós" tudományos community-kre is gyakran igaz ez a megállapítás. Egyébként ez is erősen tanszékfüggő.
---
Régóta vágyok én, az androidok mezonkincsére már!