rsyslog vs logstash

 ( g3len | 2015. december 1., kedd - 12:54 )

Sziasztok!

Szeretnénk log szerver feelinget és kinéztünk egy logstash/elasticsearch/kibana kombót, de sok tapasztalatom nincs ezzel kapcsolatban, idáig mindig rsyslog mysql/sysloganalyzer -t használtam és elég volt.
Szóval gondolkodom, hogy rsyslog backend -et használjak e vagy logstash -t vagy mi legyen? :D

Bármilyen tapasztalat, tanács érdekel (performancia, megbízhatóság, magas rendelkezésre állás stb..)

köszi előre is...

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

Mi csak kísérleteztünk vele, aztán közbejöttek más dolgok, ezért még mindig függőben van a dolog. Viszont azt már a tesztekből láttuk, hogy nagyon nagy az erőforrás igénye.

https://www.elastic.co/guide/en/elasticsearch/guide/current/hardware.html

Az erőforrásigény gondolom a java miatt is magas. Én beüzemeltem, működik jól, a kibana meg egész jó kis lekérdező felület, lehet benne szépeket varázsolni. Volt mikor napi 50millió sor is belement, ekkor érezhetően kicsit már lassúlt a keresés :D

A vas amin fut: 1cpu-s 8magos opteron 4x2T raid10 es 48G ram. Jelenleg 1.6 milliard logsor van benne. IDS log nem szamolva, az napi par millio sor pluszba attol fugg mennyire melyen analizalunk :D

Fedora 22, Thinkpad x220

Mukodik, nincs vele baj. Ha esetleg sok kiertekelesed lesz, akkor kellhet tekergetni az elasticsearchon, de egyebkent default configgal szepen megy. A logstasht tedd fel a log gepre, a tobbin eleg a syslog daemon. ESetleg nezd meg a collectd-t, a logstashnek van kozvetlen input modulja hozza, igy statisztikakat is konnyu gyartani.

Arra figyelj, hogy legyen elasticsearch curator cronjobban, ne teljen be a disk.

--
Pásztor János
Sole Proprietor @ Opsbears
Development Lead @ IXOLIT

Hát az érzelmeim továbbra is vegyesek de elkezdjük használni aztán lesz ami lesz... :D

EliteBook 8540p
Fedora 21
Startup finished in 2.637s (kernel) + 875ms (initrd) + 1.777s (userspace) = 5.290s

Ha az rsyslog-ot ismered, akkor syslog-ng-vel is erdemes futnod egy kort, a legutobbi valtozat tud elasticsearch-ot,
igy tudsz egy ESK stack-et is epiteni (Elasticsearch/syslog-ng/Kibana).

Köszi. Lehet, hogy megnézem performanciába mind a két megoldást, hátha jutok valamire.

EliteBook 8540p
Fedora 21
Startup finished in 2.637s (kernel) + 875ms (initrd) + 1.777s (userspace) = 5.290s

Ha esetleg Debian alapu rendszert hasznalsz, akkor vannak sajat -nem hivatalos- csomagjaim syslog-ng-hez, ugy is fel tudod tenni, info itt : http://comments.gmane.org/gmane.comp.syslog-ng/17177

( Legujabb Ubuntuhoz meg nincs csomag, nem volt ra meg idom megcsinalni. )

Vannak rpm-es csomagjaink is, de azt most fejbol nem tudom hol vanak.

Szép! Köszi mindenképpen ránézek majd...

EliteBook 8540p
Fedora 21
Startup finished in 2.637s (kernel) + 875ms (initrd) + 1.777s (userspace) = 5.290s

Bevallom centos vonalat preferálom szóval köszi! :D

EliteBook 8540p
Fedora 21
Startup finished in 2.637s (kernel) + 875ms (initrd) + 1.777s (userspace) = 5.290s

Akkor ott a hivatalos rsyslog, hagyd a syslog-ng-t. :D

Ha nincs feltetlen szukseged logstash-re, akkor rsyslog/syslog-ng => Elastic => Kibana kombinacio hatekonyabb lesz. Es a meglevo configjaid egy jelentos resze is megtarthato, kb csak egy uj route kell, hogy ES-be is eljusson a cucc.

Amiben a LogStash jobb, az az, hogy ha masszirozni kell a forrasokbol beeso logokat, LogStash segitsegevel az kenyelmesebb. Cserebe lassu, ES/Kibana nelkul is.

(nalam tobbnyire systemd journal -> joliranyzott hy script -> elastic -> kibana kombinacio megy mostansag)

--
|8]