big data

Adott egy projekt. Nagyon sok adatot kellene tárolnom "real time". Óránként képződhet akár 5-6Gb is. Kereshetővé is kéne tenni. MongoDB-ben gondolkodom egyelőre. C# a nyelv amivel kellene dolgoznom, ez nem gond, az adatbázis miatt jobban aggódom. Csak gyűlik az adat orrba-szájba, nekem meg gyűjtenem kell és később kereshetővé/elemezhetővé tennem. Izgulok. Mi lesz ebből. Távirat vége. Stop.

( ne0 | 2017. 08. 20., v – 20:09 )

a mongo nem rossz, mi is használjuk pár TB adattal
wiredtiger, sharding a barátod
a keresés attól függ, hogy pár mezőre, mert arra elég a mongo index, de ha fulltext stb bejön, akkor nálunk az elasticsearch vált be erre
c# driver nagyon jól használható, fluent, linq full support

( Mico v | 2017. 08. 21., h – 08:58 )

milyen adatok és mit kell csinálni vele? 5-6 giga nem sok.
mongodb + elasticsearch elég "safe bet", persze érteni kell hozzá.
mindig viccesnek találom, hogy a dev az infra miatt aggódik, az ops meg a kód miatt :)

( zeller | 2017. 08. 21., h – 21:50 )

Az ilyen "egyelőre" dolgokkal vigyázni kell. Mindenképp érdemes tervezni az adatok életciklusát is - mit, meddig kell megtartani, miből lehet aggregált adatokat csinálni, és mi az, amit "nyersen" kell tárolni - nem mindegy, hogy évente 40-50TB-nyi növekménnyel kell számolni az idők végezetéig, vagy azzal, hogy x hónaból kell tudni hatékonyan bányászni, a régebbi adatokból meg nem annyira :-)