Data Analyze app

Segédprogramok

Üdv,

Adatelemző appot keresek. Csak érdekel a dolog, hogy mivel érdemes foglalkozni.

Nagyon nyomják a MS Power BI-t. Milyen más alternatíva van?

Linux, Windows verzió is érdekel.

  • 800 megtekintés

( golgota | 2024. 01. 04., cs – 18:59 )

Szerkesztve: 2024. 01. 04., cs – 18:59

Tableau, RStudio, Domo...en ezeket ismerem, marmint lattam hogy hasznaljak oket a PowerBI-on kivul. De igazabol jo lenne tudni melyik vegen akarod megfogni a data analzist, mert ott s Spark es Python (pandas) ami szinten erre vao csak neked kell leprogramozni. Meg meg millio framework. Aztan ott vannak a felhos cuccok amikre raklikkelsz aztan van data lake-ed meg a hozza tartozo osszes szir-szar az analizishez. 

De sima analizishez meg az excel is jo ha nem nagy az adathalmaz. :D

De amugy a UI korulbelul mindegy, mert nem az a data analizis lenyege hogy mivel csinalod, hanem hogy miert es hogyan.

( peterdif | 2024. 01. 05., p – 10:47 )

A PBI-vel nem lősz mellé, piacképes tudásod lesz, most ezt keresik mindenhol. Vannak határai, de kezelhető. 1000 dolgohoz integrálható egyszerűen, "enterprise" módon.

Persze erre figyleni kell, de semmi nincs ingyen. Ha a cég annyit tud rá áldozni, akkor ez tényleg fontos neki és valószínű arra is fog tudni, hogy téged rendesen kifzessen. -> megéri ilyen tudásba befektetni hosszabb távon, máshol, a picaon is könnyen eladható lesz.

Azt kell megnézni, hogy "játékra" kell (saját adataidat nézgeted) vagy valami az üzletenek (nem az IT-nak) fontos/"hivatalos", pl audit által is ellenőrizendő (SOX, ISO,..), boardnak menő, más által tulajdonolt, esetleg szenzitív (üzleti, secu,..) adatokból kell varázsolni, valós időben, intranetre, MS OFfice-ba beágyazható live módon,...granulált jogosultságkezelséssel, audithatóan, AD integrálva,...és ha itt gubanc van (bármi) annak lehenek-e negatív pénzügyi hatásai a cégre. (alá nem írt beszámoló, adatvédelmi büntetés, bukott minősítés,...)

Egy "gyári", támogatott, MS-es megoldásnál lehet nem fogják ízekre szedni a rekrod vagy cella szintű AAD-vel integrál jogosultságkezelésedet, mert tudják, hogy az milyen.

Nem vagyok MS fan (nagyon nem), de úgy látom egy ilyet könnyebb "eladni" egy cégnek, biztosabb befektetésnek érzi, mint egy admin által összekarott, a legtöbb esetben hivatalos support nélküli rendszerre rábizíni ilyen dolgokat. Persze ezt is meg lehet csinálni nagyon gány módon, de az már tisztán a te sarad lesz. :-)

+ Azért az lehet nem evidens, hogy ezeket az adatokat te simán "elhozod" és feltöltöd az általad fargicsált, gyártói support nélküli, más biztonsági besorolású rendszerbe. Tud kellemetlen kérdeseket ez előhozni auditkor is, mikor pl negyed évente ellenőrzik a forrás rendszer zártságát.

Ha meg az opensource-oskakt managelt szolgáltatásként használod (AWS, Azure,...) akkor ott az "ingyen van" dolog se fog már megállni.

Szerk:

+ SAS, SPSS mint már írták, ugyanez a kategória ilyen szempontból mint a PBI.

( rascy | 2024. 01. 05., p – 14:02 )

Ez engem is érdekel, bár lehet picit más irányból, mert olyat keresek, amit Docker-ben és Mongo-val összekötve tudok használni.
Jelenleg pont a Metabase oktató videóját nézem, aminek van OpenSource verziója.
Elvileg még ezek is jók lehetnek:
- https://redash.io/
- https://superset.apache.org/
 

( h0lysh1t | 2024. 01. 05., p – 23:59 )

Kibana/Elasticsearch + Grafana -> opensource jelenleg és semmi köze nincs az MS PowerBi-hoz.

Mi vegyesen használjuk - datás kollégák MS világból jöttek ők most épp MS PowerBI felé mennek amit nem követek, elődjük meg opensource volt amit gyakran szoktam faragni az igények szerint, az infránk még mindig opensource dolgokkal fut emiatt faragom néha (infra logok gyűjtése vizualizálása miatt).

Kibana/Elastic-ot feltöltöd adattal, Grafanát fölé kötöd és lesznek szép grafikonjaid. Dolgozni kell vele, de ha kész akkor az MS liszensz profitját zsebre rakhatod. Ezeket tudod Dockerből is futtatni.

huhh, eloszor szogezzuk le, hogy 2013 ota ES-ezek es mindenkit probalok teriteni, ha szukseges es az a helyes megoldas. De itt nem ez a helyes megoldas.

A kerdezo nem egy adattarolo eszkozt keres, amibe aztan behuzza az adatokat valahonnan, hanem az adatok tobb helyen tarolodnak es azokat akarja elerni egy eszkozzel, hogy analizalja oket. Azt most hagyjuk, hogy mondjuk a kulonbozo adattipusok kulonbozo semaiban kell e neki olyan adat, amivel ezek az adatok tarsithatoak (correlation).

A masik, hogy a Grafana-ban nincs analizis. Te elkezded leirni a sajat analizalo lekerdezeseidet, ami vagy jo vagy nem, vagy olyan adat jon ki belole amit szeretnel vagy nem. Es nem egyszeru aztan az adatot egy-ket klikkelessel mas dimenzioba es contectusba helyezni, mint amit ezek az eszkozok tudnak.

De nezzuk meg a megoldasodat, ami ket lepcsobol all: 1. kozos storage, 2. analizalo eszkoz. Az elso nem kell neki, a masik pedig nem a grafana. Ha mar kozos storage-ot akarnek, akkor inkabb a clickhouse-al mennek, igy nem kell adatot migralni, hanem direktben kerdezheto le az adat, de megis egyetelen connetion string kell csak. Analizalo eszkoznek meg aztan barmi lehet ezek utan amit nem szegyell. De felmerul a kerds, minek is kellene egyetlen connection string, ha egy GUI-ban azt beallitani hogy 5 helyrol jojjon az adat darabonkent 1 perc max.

Nem, nem jobb. Amit bedobtal az techie-knek jo egy log, metric, intrusion detection stb "basic analizisre", de nem egy analystnak az adatok minoseget felfedezni es abbol uzletet erinto tanulsagokat levonni. Es meg ez sem teljesen igaz, mert nalunk is van olyan ES rendszer amit analyzisre hasznalnak (streaming data, spark, mindenszar). 

Amit bedobtal az jo lehet (minusz grafana, az sajnos csak egy grafikon rajzolo es semmi mas, nincsenek analitikus fuggvenyei stb stb), de megfelelo igenyre. Itt meg az volt az igeny hogy powerBI szeru GUI-n akar klikkolgatni a data analyst.

Na arra modtam hogy a megoldasod "erre" nem jo. :D

Es az en megoldasom a clickhouse-zal amit hoztam eppen olyan rossz :D

( Nyosigomboc v | 2024. 01. 06., szo – 12:47 )

Amikor a kornyezetemben ilyenre volt szukseg, Python (akar Jupyterben) + szukseges libek (pandas, numpy, scipy, pytorch) adtak ra a megoldast.

A strange game. The only winning move is not to play. How about a nice game of chess?