big data

 ( mgabor | 2017. augusztus 20., vasárnap - 19:57 )

Adott egy projekt. Nagyon sok adatot kellene tárolnom "real time". Óránként képződhet akár 5-6Gb is. Kereshetővé is kéne tenni. MongoDB-ben gondolkodom egyelőre. C# a nyelv amivel kellene dolgoznom, ez nem gond, az adatbázis miatt jobban aggódom. Csak gyűlik az adat orrba-szájba, nekem meg gyűjtenem kell és később kereshetővé/elemezhetővé tennem. Izgulok. Mi lesz ebből. Távirat vége. Stop.

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

a mongo nem rossz, mi is használjuk pár TB adattal
wiredtiger, sharding a barátod
a keresés attól függ, hogy pár mezőre, mert arra elég a mongo index, de ha fulltext stb bejön, akkor nálunk az elasticsearch vált be erre
c# driver nagyon jól használható, fluent, linq full support

milyen adatok és mit kell csinálni vele? 5-6 giga nem sok.
mongodb + elasticsearch elég "safe bet", persze érteni kell hozzá.
mindig viccesnek találom, hogy a dev az infra miatt aggódik, az ops meg a kód miatt :)

Evente 43TB korul es novekszik. Szerintem ez annyira nem is keves...

egyaltalan nem sok...

Ez az igazi NagyZ-olás :-P

+1 felnevettem :D

amelyik cegnel ~50TB soknak minosul 2017-ben ES bigdataval foglalkoznak, ott nem akarok dolgozni

Aki kalapaccsal dolgozik mindent szognek nez...

vagy csak dragabb a mernok mint par tera flash

Az ilyen "egyelőre" dolgokkal vigyázni kell. Mindenképp érdemes tervezni az adatok életciklusát is - mit, meddig kell megtartani, miből lehet aggregált adatokat csinálni, és mi az, amit "nyersen" kell tárolni - nem mindegy, hogy évente 40-50TB-nyi növekménnyel kell számolni az idők végezetéig, vagy azzal, hogy x hónaból kell tudni hatékonyan bányászni, a régebbi adatokból meg nem annyira :-)