Sziasztok,
A helyzetet a következő:
Van kb 150Gb teszt input data amit a nightly CI futás használ.
Zip fájlok, bennük képek és számítási kalkulációk.
A zip fájlok átlagos mérete 80-100Mb között mozog.
Évente kb 50 Gb-tal fog növekedni a szükséges hely a beérkező új .zip-ek miatt.
Jelenleg Windows File Share-n vannak.
Naponta kb 2x van "kiolvasás" tehát cca 300Gb network transfert indukálunk/nap
Keresek:
Egy olyan megoldást amiben ha lehet verzóizva tudom tárolni a zip fájlokat (ha szüksége lenne rá)
Gyorsan elérhető. (Nem hal bele ha listázom a fájlokat és nem gondolkozik tul sokat :-)).
Jelenleg a JFrog Artifactory-t látom befutónak de elég szűkek az ismereteim szóval érdeklődnék kinek milyen tapasztalata, esetleg megoldása van a témára (Talán Big Data háttérrel rendelkező kollégák tudnak valami jó tool-t :-)))
- 953 megtekintés
Hozzászólások
aws s3
gcp cloud storage
azure (johetnek a kollegak :D)
(openstack) swift
De barmilyen objectstore megoldas megfelelo lenne a szamodra, ami tud verziozni. Igy pl. igen az Artifactory is vagy a Nexus.
- A hozzászóláshoz be kell jelentkezni
> azure (johetnek a kollegak :D)
Ha ránk gondolsz, le vagy maradva! :D
- A hozzászóláshoz be kell jelentkezni
Na vazz, akkor le kell raknom az azure solution architectet is... :D
Pedig konnyebb volt eddig ugy, hogy Ti vittetek a hozzaertest (is) az MS vonalon...ehhh :D
- A hozzászóláshoz be kell jelentkezni
Elég vad, de:
git submodule?
- A hozzászóláshoz be kell jelentkezni
"Van kb 150Gb teszt input data amit a nightly CI futás használ. "
Mit használtok CI-ra?
A fájlokat lokális szeretnétek tárolni, vagy felhőben, esetleg hybrid?
- A hozzászóláshoz be kell jelentkezni
Jelenleg a lokális megoldás a preferált mert "Ugyis van Artifactory már a cégnél"
Azure-ral kapcsolatban a sávszél nekem kérdéses a céges belső hálózat miatt. (Csak Azure jöhet szóba nálunk...)
Hybrid megoldásban még nem gondolkodtam
- A hozzászóláshoz be kell jelentkezni
"Nem hal bele ha listázom a fájlokat és nem gondolkozik tul sokat"
Ha ez a zip tartalmának listázását jelenti, már csak a sávszél kímélése miatt is a zip elhelyezésekor TOC-ba írnám a tartalmakat, függetlenül attól, hogy végül milyen archívkezelő lesz a megoldás.
- A hozzászóláshoz be kell jelentkezni
TOC?
- A hozzászóláshoz be kell jelentkezni
Table of Contents: gyakorlatilag szövegfájlba listázni a zip tartalmát.
- A hozzászóláshoz be kell jelentkezni
Vag erre ugye alapbol ott a tar amit lehez gzippelni, bzippelni, stb, stb.
Itt a zip nem a legjobb megoldas. Persze kerdes, hogy kell e nekik a zip-bol csak egy allomany vagy csak esz nelkul kell beleonteni valaminek a szajan a zip-ben levo adatokat. Mert akkor a zip is jo. :D
- A hozzászóláshoz be kell jelentkezni
Napi backup hosszú megőrzéssel ha megfelelő esetleg pluszban shadow copy és megfelelően nagyon nagy lemezméret. Vagy NAS+ZFS a példányokra esetleg FresNAS + backblaze.
Javasolt még zip fájlok helyett eredeti formában hagyni és FS szinten tömöríteni és dedupiálni.
Sajnos a témát alkalmazás szinten nem ismerem.
- A hozzászóláshoz be kell jelentkezni