rsyslog vs logstash

Linux-kezdő

Sziasztok!

Szeretnénk log szerver feelinget és kinéztünk egy logstash/elasticsearch/kibana kombót, de sok tapasztalatom nincs ezzel kapcsolatban, idáig mindig rsyslog mysql/sysloganalyzer -t használtam és elég volt.
Szóval gondolkodom, hogy rsyslog backend -et használjak e vagy logstash -t vagy mi legyen? :D

Bármilyen tapasztalat, tanács érdekel (performancia, megbízhatóság, magas rendelkezésre állás stb..)

köszi előre is...

  • 2114 megtekintés

Az erőforrásigény gondolom a java miatt is magas. Én beüzemeltem, működik jól, a kibana meg egész jó kis lekérdező felület, lehet benne szépeket varázsolni. Volt mikor napi 50millió sor is belement, ekkor érezhetően kicsit már lassúlt a keresés :D

A vas amin fut: 1cpu-s 8magos opteron 4x2T raid10 es 48G ram. Jelenleg 1.6 milliard logsor van benne. IDS log nem szamolva, az napi par millio sor pluszba attol fugg mennyire melyen analizalunk :D

Fedora 22, Thinkpad x220

( janoszen v | 2015. 12. 01., k – 12:16 )

Mukodik, nincs vele baj. Ha esetleg sok kiertekelesed lesz, akkor kellhet tekergetni az elasticsearchon, de egyebkent default configgal szepen megy. A logstasht tedd fel a log gepre, a tobbin eleg a syslog daemon. ESetleg nezd meg a collectd-t, a logstashnek van kozvetlen input modulja hozza, igy statisztikakat is konnyu gyartani.

Arra figyelj, hogy legyen elasticsearch curator cronjobban, ne teljen be a disk.

--
Pásztor János
Sole Proprietor @ Opsbears
Development Lead @ IXOLIT

( g3len | 2015. 12. 01., k – 15:01 )

Hát az érzelmeim továbbra is vegyesek de elkezdjük használni aztán lesz ami lesz... :D

EliteBook 8540p
Fedora 21
Startup finished in 2.637s (kernel) + 875ms (initrd) + 1.777s (userspace) = 5.290s

( uid_4385 | 2015. 12. 01., k – 15:10 )

Ha az rsyslog-ot ismered, akkor syslog-ng-vel is erdemes futnod egy kort, a legutobbi valtozat tud elasticsearch-ot,
igy tudsz egy ESK stack-et is epiteni (Elasticsearch/syslog-ng/Kibana).

( uid_4385 | 2015. 12. 01., k – 15:19 )

Ha esetleg Debian alapu rendszert hasznalsz, akkor vannak sajat -nem hivatalos- csomagjaim syslog-ng-hez, ugy is fel tudod tenni, info itt : http://comments.gmane.org/gmane.comp.syslog-ng/17177

( Legujabb Ubuntuhoz meg nincs csomag, nem volt ra meg idom megcsinalni. )

Vannak rpm-es csomagjaink is, de azt most fejbol nem tudom hol vanak.

Itt vannak linkek az rpm-ekhez, és pár tipp: https://czanik.blogs.balabit.com/2015/08/getting-started-with-syslog-ng…

Itt egy bevezető az ESK-hoz: https://czanik.blogs.balabit.com/2015/10/how-to-parse-data-with-syslog-…

És végül a dokumentáció megfelelő fejezete, amiből látszik, hogy az Elasticsearch destination konfigurálása a legutóbbi blogjaim óta kicsit egyszerűsödött: https://www.balabit.com/sites/default/files/documents/syslog-ng-ose-3.7…

( uid_194 | 2015. 12. 02., sze – 09:37 )

Ha nincs feltetlen szukseged logstash-re, akkor rsyslog/syslog-ng => Elastic => Kibana kombinacio hatekonyabb lesz. Es a meglevo configjaid egy jelentos resze is megtarthato, kb csak egy uj route kell, hogy ES-be is eljusson a cucc.

Amiben a LogStash jobb, az az, hogy ha masszirozni kell a forrasokbol beeso logokat, LogStash segitsegevel az kenyelmesebb. Cserebe lassu, ES/Kibana nelkul is.

(nalam tobbnyire systemd journal -> joliranyzott hy script -> elastic -> kibana kombinacio megy mostansag)

--
|8]