Tanítható/öntanuló log analizáló?

Linux-kezdő

Létezik olyan open source log analizáló szoftver, amivel telepítés után "megetetek" egy adag logot és ő ennek alapján kiszedi a friss logokból a megszokottól eltérő üzeneteket?

  • 1558 megtekintés

( uid_7086 | 2018. 02. 14., sze – 22:47 )

Akkor ezt vehetem nemleges válasznak? (felírva a soha el nem készülő, megírandó programok listájára :) )

Neked is köszönöm.
Akkor már csak egy kérdés: mire kellene keresni, hogy használható találatokat kapjak e témában?

Fura... self learning log analyzer kifejezésre, ha nem is ezek, de jön relevánsnak látszó találat...
Akkor mi a ...t csináltam, hogy korábban nem találtam semmit?

Az elasticsearch mögött lucene van. Ez (többek között) tud egy olyat amit "term frequency–inverse document frequency" néven szoktak emlegetni:

https://en.wikipedia.org/wiki/Tf%E2%80%93idf
https://findwise.com/blog/under-the-hood-of-the-search-engine/
https://www.elastic.co/blog/significant-terms-aggregation

Ez az algoritmus (megfelelő adatmodellel/adatokkal) jól használható mindenféle anomália keresésre, pl. bankkártya csalások szűrésére, vagy olyanok kiszűrésére, hogy "Ez a gép általában 20% procit használ, de most ez felment 50-re. Az 50 még mindig határon belül van (tehát nem jön riasztás), de inkább ránézek, mert valszeg gebasz van."

a "Syslog-ng: pdbtool patternize"-ról nem tudok nyilatkozni, de valszeg az is hasonló módon működik.

Ö... nem erre gondoltam. :)
Azon vagyok elakadva, hogy két-három napon át több alkalommal próbáltam a google-ből kiszedni, hogy milyen loganalizáló szoftverek léteznek, amik képesek önmaguktól tanulni, felismerni az anomáliákat.
Ehhez képest kaptam millió, totál irreleváns találatot, illetve hiába volt a keresésben FOSS/free/GPL/stb. kifejezés, kifejezetten fizetős szoftvereket.
A jelek szerint valamit nagyon elkeféltem a kereséskor.

Mondjuk ha a teaching helyett learning van, akkor azért nagyságrendekkel javul a keresés eredményessége :)

Te meg bedoltel neki majdnem, de szerencsere megmentettunk. :)

Amugy a tanulas/tanitas strategianak van elonye es hatranya is termeszetesen. Neked kell eldonteni, melyikkel tudsz egyutt dolgozni. Nekem a tanitas jott be, mert tudom, hogy mit ontok bele a kalapba es ellenorzom is azt. Bar el tudom fogadni, hogy van olyan kornyezet, ahol mar erre nincs kedv, ember, ido, penz,... De az en meglatasom alapjan a tanulo rendszert ugyanugy masszirozni kell kesobb, hogy le- vagy rabeszeld a false positive/negative talalatokra. Szoval szerintem csak atmozgatod az idoraforditast kesobbre.
Bar itt ismet kiemelnem: ez az en velemenyem es mindketto strategia eletkepes.

Csak egy hirtelen jött ötlet volt.
A routerem logját nézegettem, ami többnyire abból áll, hogy grep -v DROP kern, és elméláztam rajta, hogy abban a maradék 100-200 sorban észrevenném-e, ha valami szokatlan egysoros üzenet jönne be?
Ebből jött, hogy perl scripttel jól meganálozom, abból meg az, hogy szerintem erre már van céleszköz.