Fórumok
Sziasztok!
Szenvvedek a nagyon sok kicsi fájllal, 400 000 / 2GB. Windows 10 alatt, a másolás, tömörítés - kitömörítés eltart egy napig.
Arra gondoltam, hogy ha lenne egy nagy fileom, ami külön driveként jelenik meg windowsban, ez mind felgyorsulna.
Ismertek ilyen megoldást?
Üdv,
Róbert
Hozzászólások
Csinálj egy VHD-t a Disk Managementben, azt utána be tudod mountolni.
Rosszul gondolod. Ugyanúgy át fogja nézni az antivírus (ha más nem, a Defender) az összes kis fájlt. A legtöbb, amit tehetsz, hogy a nem használt projekteket egy archívumba betömöríted. Már egy .tar fájl is segít, de lehet .zip is.
Vsz elegge ossze van fragmentalva a diszked. Ha beleteszed egy loop mountba akkor kb ugyanugy ossze lesz fragmentalva egy ido utan. Ha HDD-n van akkor ha teheted, tedd at SSD-re, az nagyon sokat tud segiteni ezen a probleman. Ha mar most SSD-n van akkor ott vmi egyeb problema van, ami nem az I/O-val hanem a fileok megnyitasaval-lezarasaval aranyosan skalaz.
SSDn vagyok, és ez a céges gép ráadásul.
A vhdx-et mindenesetre kipróbálom, hátha javul a helyzet. A Disk Management virtual disk feature-t nem ismertem.
A filesystem overhead-et nem uszod meg a kis fajlok miatt.
Ami tud gyorsitani a folyamaton, az ha csinalsz egy RAM-disket es azon tomoritesz. Ha jol ertettem max 2Gb az osszes adatod, ez siman bele tud ferni.
Esetleg a VHDX-et tedd RAM diszkre es ha keszen van akkor kimasolod a normal diskre olvasasra az mar jo lehet.
Milyen kis fájlok? Egy VHD fájlt kell tömörítenie…
Hm... és ömlesztve van mind a 400k file egy könyvtárba? Alkönyvtárazás is segithet.
Attól függ, mit is csinász, de egy másik lemez a tömörítgetésekre nem segítene? Vagy valahol máshol változtatni a munkalogikán?
“Any book worth banning is a book worth reading.”
A víruskeresőt próbáltad már kikapcsolni arra a részre? Sokat segít, ha egyébként biztos vagy benne, hogy nincs benne malware, vírus vagy egyéb kártevő.
https://iotguru.cloud
Mi a felhasználás mintázata?
- ezek konstans fájlok, amik ritkán változnak, vagy szinte soha, vagy gyakran, random?
- túlnyomórészt csak olvasás, néha ritkán felülírás, törlés?
- Fájl méretek változnak íráskor?
- mi a fájl méretek eloszlása?
Lehetne spéci nagy fájlokba összefogni a kicsiket, pl protobuf message formájában. Vagy ISO-t csinálni belőle. Vagy... a felhasználástól függ.
Vagy, ahogy mások is írták, a víruskergetőbe kivételt tenni, vagy ha maszek projekt, inkább valami egyszerűbb adatbázisba betolni a sok kis állomány tartalmát, és az azt használó programot is ehhez átalakítani.
valamikor volt olyan, hogy mysqlfs :)
“Any book worth banning is a book worth reading.”
Az sqlite szerintem pont erre jó. Egy extra lib szerintem könnyebben feltehető, mint egy kliens-szerver architektúra össes nyűge.
tl;dr
Egy-két mondatban leírnátok, hogy lehet ellopni egy bitcoin-t?
Ez alapvetően jhipster-rel generált java projekteket jelent. Rengeteg kicsi fálj. Nem lehet törölni vagy zippelni ideiglenesen.
A legtöbb file >99% ritkán változik, inkább olvasásra kerül sor, törlésre szinte sosem.
File méretek változása kicsi és nulla közötti leggyakrabban.
Méretek elosztására nincs adat.
Víruskergető a cégesen nem befolyásolható group policy miatt.
Mint kiderült a vhdx sem használható szintén group policy miatt.
Arra jutottam, hogy ezt így kell elfogadni.
Ja, ha corporate bullshit, akkor fizetik az idődet, szarjál rá, csinálsz mást, amíg lassú, de legyen VSP (Védd a Segged Papírral), hogy te szóltál, hogy lassú.
https://iotguru.cloud
Ha nem lenne ez a céges group policy szívás, akkor a VeraCrypt-et ajánlottam volna: https://www.veracrypt.fr/en/Home.html
Igen, ezt így el kell. Fizesse csak ki a cég az extra várakozási időket, ha group policy miatt mindenben hátrakötik a kezed. Mert egyébként javasoltam volna vagy ramdrive-ot vagy natív Linuxot, de ha már egy vhdx-et se engednek, akkor ezeket se fogják, így ez olyan szitu, amiben nem nyerhetsz. Csinálod lassan, várakozol, közben kávézol, magánlaptopozol, rádiót hallgatsz, hogy teljen a várakozási idő, stb..
“A computer is like air conditioning – it becomes useless when you open Windows.” (Linus Torvalds)
Ahogy fent is írták, RAMDisk? Annál gyorsabbat nemigen találsz. 2GB-ra még jó lehet.
Nem defrült ki, hogy melyik a lassú belőle és mennyire. A másolás, a tömörítés vagy a kitömörítés.
Mert például, ha a belépített win-es zip-et használod, akkor az önmagában is nagyságrenddel lassabb lehet, mint egy 3rd party komolyabb program (például intézős kitömörítés vs 7zip)
A fájlok másolásánál ha egyik lokális helyről másikra, akkor is lehet, hogy valami 3rd party megoldás jól beállítva gyorsabb (régen total commandernél buffer jó beállítással szintén gyorsab volt intézőnél, bár ez nem most volt).