Sziasztok!
Szenvvedek a nagyon sok kicsi fájllal, 400 000 / 2GB. Windows 10 alatt, a másolás, tömörítés - kitömörítés eltart egy napig.
Arra gondoltam, hogy ha lenne egy nagy fileom, ami külön driveként jelenik meg windowsban, ez mind felgyorsulna.
Ismertek ilyen megoldást?
Üdv,
Róbert
- 497 megtekintés
Hozzászólások
Csinálj egy VHD-t a Disk Managementben, azt utána be tudod mountolni.
- A hozzászóláshoz be kell jelentkezni
Arra gondoltam, hogy ha lenne egy nagy fileom, ami külön driveként jelenik meg windowsban, ez mind felgyorsulna.
Rosszul gondolod. Ugyanúgy át fogja nézni az antivírus (ha más nem, a Defender) az összes kis fájlt. A legtöbb, amit tehetsz, hogy a nem használt projekteket egy archívumba betömöríted. Már egy .tar fájl is segít, de lehet .zip is.
- A hozzászóláshoz be kell jelentkezni
Vsz elegge ossze van fragmentalva a diszked. Ha beleteszed egy loop mountba akkor kb ugyanugy ossze lesz fragmentalva egy ido utan. Ha HDD-n van akkor ha teheted, tedd at SSD-re, az nagyon sokat tud segiteni ezen a probleman. Ha mar most SSD-n van akkor ott vmi egyeb problema van, ami nem az I/O-val hanem a fileok megnyitasaval-lezarasaval aranyosan skalaz.
- A hozzászóláshoz be kell jelentkezni
SSDn vagyok, és ez a céges gép ráadásul.
A vhdx-et mindenesetre kipróbálom, hátha javul a helyzet. A Disk Management virtual disk feature-t nem ismertem.
- A hozzászóláshoz be kell jelentkezni
A filesystem overhead-et nem uszod meg a kis fajlok miatt.
Ami tud gyorsitani a folyamaton, az ha csinalsz egy RAM-disket es azon tomoritesz. Ha jol ertettem max 2Gb az osszes adatod, ez siman bele tud ferni.
Esetleg a VHDX-et tedd RAM diszkre es ha keszen van akkor kimasolod a normal diskre olvasasra az mar jo lehet.
- A hozzászóláshoz be kell jelentkezni
Milyen kis fájlok? Egy VHD fájlt kell tömörítenie…
- A hozzászóláshoz be kell jelentkezni
Hm... és ömlesztve van mind a 400k file egy könyvtárba? Alkönyvtárazás is segithet.
- A hozzászóláshoz be kell jelentkezni
Attól függ, mit is csinász, de egy másik lemez a tömörítgetésekre nem segítene? Vagy valahol máshol változtatni a munkalogikán?
“Any book worth banning is a book worth reading.”
- A hozzászóláshoz be kell jelentkezni
A víruskeresőt próbáltad már kikapcsolni arra a részre? Sokat segít, ha egyébként biztos vagy benne, hogy nincs benne malware, vírus vagy egyéb kártevő.
- A hozzászóláshoz be kell jelentkezni
Mi a felhasználás mintázata?
- ezek konstans fájlok, amik ritkán változnak, vagy szinte soha, vagy gyakran, random?
- túlnyomórészt csak olvasás, néha ritkán felülírás, törlés?
- Fájl méretek változnak íráskor?
- mi a fájl méretek eloszlása?
Lehetne spéci nagy fájlokba összefogni a kicsiket, pl protobuf message formájában. Vagy ISO-t csinálni belőle. Vagy... a felhasználástól függ.
- A hozzászóláshoz be kell jelentkezni
Vagy, ahogy mások is írták, a víruskergetőbe kivételt tenni, vagy ha maszek projekt, inkább valami egyszerűbb adatbázisba betolni a sok kis állomány tartalmát, és az azt használó programot is ehhez átalakítani.
Színes vászon, színes vászon, fúj!
Kérem a Fiátot..
- A hozzászóláshoz be kell jelentkezni
valamikor volt olyan, hogy mysqlfs :)
“Any book worth banning is a book worth reading.”
- A hozzászóláshoz be kell jelentkezni
Az sqlite szerintem pont erre jó. Egy extra lib szerintem könnyebben feltehető, mint egy kliens-szerver architektúra össes nyűge.
- A hozzászóláshoz be kell jelentkezni
Ez alapvetően jhipster-rel generált java projekteket jelent. Rengeteg kicsi fálj. Nem lehet törölni vagy zippelni ideiglenesen.
A legtöbb file >99% ritkán változik, inkább olvasásra kerül sor, törlésre szinte sosem.
File méretek változása kicsi és nulla közötti leggyakrabban.
Méretek elosztására nincs adat.
Víruskergető a cégesen nem befolyásolható group policy miatt.
Mint kiderült a vhdx sem használható szintén group policy miatt.
Arra jutottam, hogy ezt így kell elfogadni.
- A hozzászóláshoz be kell jelentkezni
Arra jutottam, hogy ezt így kell elfogadni.
Ja, ha corporate bullshit, akkor fizetik az idődet, szarjál rá, csinálsz mást, amíg lassú, de legyen VSP (Védd a Segged Papírral), hogy te szóltál, hogy lassú.
- A hozzászóláshoz be kell jelentkezni
Ha nem lenne ez a céges group policy szívás, akkor a VeraCrypt-et ajánlottam volna: https://www.veracrypt.fr/en/Home.html
- A hozzászóláshoz be kell jelentkezni
Igen, ezt így el kell. Fizesse csak ki a cég az extra várakozási időket, ha group policy miatt mindenben hátrakötik a kezed. Mert egyébként javasoltam volna vagy ramdrive-ot vagy natív Linuxot, de ha már egy vhdx-et se engednek, akkor ezeket se fogják, így ez olyan szitu, amiben nem nyerhetsz. Csinálod lassan, várakozol, közben kávézol, magánlaptopozol, rádiót hallgatsz, hogy teljen a várakozási idő, stb..
“Windows 95/98: 32 bit extension and a graphical shell for a 16 bit patch to an 8 bit operating system originally coded for a 4 bit microprocessor, written by a 2 bit company that can't stand 1 bit of competition.”
- A hozzászóláshoz be kell jelentkezni
Ahogy fent is írták, RAMDisk? Annál gyorsabbat nemigen találsz. 2GB-ra még jó lehet.
- A hozzászóláshoz be kell jelentkezni
Nem defrült ki, hogy melyik a lassú belőle és mennyire. A másolás, a tömörítés vagy a kitömörítés.
Mert például, ha a belépített win-es zip-et használod, akkor az önmagában is nagyságrenddel lassabb lehet, mint egy 3rd party komolyabb program (például intézős kitömörítés vs 7zip)
A fájlok másolásánál ha egyik lokális helyről másikra, akkor is lehet, hogy valami 3rd party megoldás jól beállítva gyorsabb (régen total commandernél buffer jó beállítással szintén gyorsab volt intézőnél, bár ez nem most volt).
- A hozzászóláshoz be kell jelentkezni