Hálózat monitoring

Sziasztok! Olyan feladatot kaptunk a cégnél, hogy egy félig meddig egyedi hálózati monitoringot hozzunk létre.

Megpróbálom röviden és értelmesen összefoglalni a problémát:

-Egyszer használjuk a Vnstat-ot a hálókártyák forgalmához.
-Használjuk a lightsquidet a lanok, vlanok (iskolák, közintézmények) netes tevékenysége miatt.
-Használjuk illetve használnák az IPFM-et, abból a célból, hogy IP alapján lássuk az adott lan,vlan forgalmát. Nah ezzel már akadtak gondok... például az eltérő Debian verzió. Debian5ösön simán lefut, viszont Debian6on egyszerűen nem akar működni és 0 méretű filet generál :( ( Googleba keresgéltem, de nem találtam megoldást erre)

Próbálkoztam az NTOP nevű alkalmazással ami sok mindent tud, tetszik is, de ezt minden szerverre fel kellene telepíteni és tartok tőle, hogy "megenné" az erőforrásainkat.(nem beszélve arról, hogy igen sok időt felemésztene)

A vezetőség nem engedélyezi, hogy egy központi NTOP legyen (mint pl Nagios) hanem külön szeretné felrakatni az NTOP-ot mindenhova. Ezt szeretném mindenképpen elkerülni, ha van rá valami mód.

Az alapelv az lenne, hogy a "figyelések" által generált fileokat feltöltsük egy központi szerverre majd ott jelenítsük meg egy nagyon fapados webes felületen.

A kérdésem az lenne hozzátok, hogy esetleg tudtok-e alánlani egyszerűbb vagy jobb megoldást ennél?
Bármilyen építő jellegű tanácsot/kritikát szívesen fogadok!

Hozzászólások

alapvetően nekem még mindíg nem jött le, hogy mit kívánsz monitorozni azon kívűl, hogy a hálózatot.
úgyértem, pingelni akarsz, v szolgáltatásokat (is) akarsz nézni?

Azt kellene látni, hogy egy adott (v)lan, hostjai mennyi forgalmat generáltak.
Erre lenne jó az IPFM, mert van ahol működik és ez a kimenete:

192.168.48.10,22.2935,2.5082,24.8017,0,-,24.8017,2014-4-06
192.168.1.214,0.865292,0,0.865292,0,-,0.865292,2014-4-06
192.168.100.1,0.153008,0,0.153008,0,-,0.153008,2014-4-06

Itt szuperül látszik, az amire nekem szükségem van illetve lenne. Az a baj, hogy azokon a szervereken ahol Debian6 van egyszerűen a logfile amit generál az IPFM üres... és nem tudok rájönni,hogy miért. Ami egy működő és egy nem müködő szerver közt a különbség az egyedül a Debian verzió.

nincsen esetleg olyan eszközöd ami tud netflow output-ot ?
mondjuk komolyabb managed (routing)switch vagy esetleg mikrotik router? (v linuxhoz is van ilyen iptables modul).
Én netflow dumpot használok hasonló célra.Ez minden kapcsolatot loggol, és utólag tcpdump szerű filterekkel tudod lekérdezni pl. kinek mekkora forgalma volt, vagy udp/5060 porton ki/hova forgalmazott - szóval nem csak adott hostra vonatkozó forgalmat tudsz lekérdezni, de gyanús hálózati anomáliát is megtalálhatsz vele.

Ez mondjuk jelentosen fugg attol hogy milyen eszkozeid vannak, es mire kepesek, hogy nez ki a halozat, mennyi van ra stb.
Ott van pl a NetFlow, ha ertelmes eszkozok vannak mar elve, vagy ha olcso janoskodni akarsz akkor port mirror + tcpdump, eleg szeles a skala...
Ez sem mindegy hogy milyen reszleteseggel kellenek adatok, mekkora a monitorozando savszelleseg, stb stb.

Köszi a tippeket! Igazából amit leírtam annyi kellene, egy összegzett log a lan hostjainak adatforgalmával. Nem szükséges a "komoly" részletesség, legalábbis egyelőre. Aztán, hogy menet közben mit szeretnének még az egy másik kérdés. Eszközeink legfőképp D-linkes switchek...hát nem a legjobbak sajnos.

Manapság már az alsó-közép kategóriás switchek is tudnak SNMP-t, azon keresztül pedig le lehet kérdezni az adott portok forgalmát. Azt meg tudod, hogy melyik portba melyik gép van dugva. Problem solved.
-------------------------
Dropbox refer: https://db.tt/V3RtXWLl
neut @ présház

Gondolom a VLAN-oknak van egy átjárója, én arra tennék SNMP-t és azt kérdezgetném és akár mrtg-vel szép grafikát is lehet gyártani.

Szerintem 2 külön rendszer a mrtg és a rrd tool.

Szerintem RRD szebb kimenetet ad.
MRTG kimenet: http://oss.oetiker.ch/mrtg/192.33.92.249_fa4_1-day.png
RRD kimenet: http://www.linuxconsulting.ro/cban/images/rrdtool.gif

--
Fontos! Ha berágok, nem feltétlen személyed ellen szól...
openSUSE 13.1 x86_64

a lényeg, hogy az MRTG is RRD-ben tárolja az adatokat. Ha utánanézel, uaz az ember fejlesztette az MRTG-t aki később ebből az RRD-t.
Az RRD egy adatbázis jellegű állomány, amiben vannak a megjelenítendő információk (ha megnézed, se böngészővel, se képnézegetővel nem látsz bele az RRD-be). De ez akár lehetne egy adatbáziskezelő is (csak minek).

Az MRTG az a multirouter traffic grapher rövidítése, és a router memóriájában gyűjtött adat ill. packet forgalmi adatokat kéri le SNMP-vel, majd letárolja RRD-be, végül abból képként megjeleníthető grafikont gyárt.

Az RRD-be pedig bármilyen adatot tehet, bármilyen értékben, felbontásban, etc. Emlékeim szerint pl az MRTG nem adott lehetőséget negatív adatok kezelésére (pl hőmérséklet vagy rádiós jelszint).

Ha az MRTG-hez hasonlatos OutOftheBox megoldás kell, akkor nézd meg inkább a cacti-t.

Amiről én magyarázok, annak semmi köze az MRTG-hez, csak egy azon emberke gyártotta őket. Nálam nincs feltéve az MRTG csomag, csak az RRDTool csomag, és van grafikonom, méghozzá szép. Akkor most WTF?

--
Fontos! Ha berágok, nem feltétlen személyed ellen szól...
openSUSE 13.1 x86_64

RRDtool is often used via various wrappers that can poll data from devices
and feed data into RRDs, as well as provide a friendlier user interface and
customized graphs.
.
This package contains command-line programs used to access and manipulate
RRDs.

Kb annyit tud csinálni magában hogy megeszi az adatot amit belétolsz parancssorból vagy lib-en keresztül és generálhat egy png-t az alapján amit te defineáltál. Innen odáig hogy snmp-n lekérdezett adatot megjelenítsen még sok lépés van.

Remek. Bár nem emlékszem, hogy mit is csinált pontosan, pedig régen használtam. Valami xml-lel bohóckodás rémlik, hogy azért is hagytam ott.. De nagyrészt azért, mert RRDtool-os grafikonokat sokkal szebbre lehet csinálni.

Az a része meg nem érdekel, hogy hogy lehet megtölteni adatokkal, és azokat hogy lehet kiszedni... Van egy komplett rendszerem rá, DB-be betolom az IP-t és hogy milyen infót kérek róla, majd a végén arcba kapom a grafikont.

--
Fontos! Ha berágok, nem feltétlen személyed ellen szól...
openSUSE 13.1 x86_64

Ha helyszínenként egy-egy router van akkor arra a legegyszerűbb megoldás a darkstat.

Egyszerű mint a faék és garantáltan megy a Debian-jaitokon.

Egyik fülön az adott interfész teljes forgalmát adja meg szöveg és grafikon formájában.
A másikon pedig szöveges formában egy-egy gép teljes forgalmát. Klikkre részletezi portonként.

Központosítani direkt nem lehet, de semmi nem állít meg hogy a weblapon megjelenített információkat letöltsd periodikusan és parse-old egy script-el.

Sok értelme nincs, de ha ez kell nekik akkor van. Komplett monitorozórendszernek pedig csakis egy példányban van értelme ha egy csapat foglalkozik a felügyelettel.

Köszi az infót! Nem ismertem a darkstatot, de pont nekem való, egyszerű és a lényeg benne van. Valószínűleg mindenhol az IPTABLES-be nyúlok majd bele és majd azt szkriptelem, akkor olyan információt szedek ki ami éppen kell majd. ( Egy dolog, hogy nekem mi kell, meg egy másik, hogy a vezető mit szeretne látni)