Windows file as drive?

Sziasztok!

Szenvvedek a nagyon sok kicsi fájllal, 400 000 / 2GB. Windows 10 alatt, a másolás, tömörítés - kitömörítés eltart egy napig.
Arra gondoltam, hogy ha lenne egy nagy fileom, ami külön driveként jelenik meg windowsban, ez mind felgyorsulna.
Ismertek ilyen megoldást?

Üdv,
Róbert

Hozzászólások

Csinálj egy VHD-t a Disk Managementben, azt utána be tudod mountolni.

Arra gondoltam, hogy ha lenne egy nagy fileom, ami külön driveként jelenik meg windowsban, ez mind felgyorsulna.

Rosszul gondolod. Ugyanúgy át fogja nézni az antivírus (ha más nem, a Defender) az összes kis fájlt. A legtöbb, amit tehetsz, hogy a nem használt projekteket egy archívumba betömöríted. Már egy .tar fájl is segít, de lehet .zip is.

Vsz elegge ossze van fragmentalva a diszked. Ha beleteszed egy loop mountba akkor kb ugyanugy ossze lesz fragmentalva egy ido utan. Ha HDD-n van akkor ha teheted, tedd at SSD-re, az nagyon sokat tud segiteni ezen a probleman. Ha mar most SSD-n van akkor ott vmi egyeb problema van, ami nem az I/O-val hanem a fileok megnyitasaval-lezarasaval aranyosan skalaz.

A filesystem overhead-et nem uszod meg a kis fajlok miatt.

Ami tud gyorsitani a folyamaton, az ha csinalsz egy RAM-disket es azon tomoritesz. Ha jol ertettem max 2Gb az osszes adatod, ez siman bele tud ferni.

Esetleg a VHDX-et tedd RAM diszkre es ha keszen van akkor kimasolod a normal diskre olvasasra az mar jo lehet.

Attól függ, mit is csinász, de egy másik lemez a tömörítgetésekre nem segítene? Vagy valahol máshol változtatni a munkalogikán?

“It is said that your life flashes before your eyes just before you die. That is true, it’s called Life.”

A víruskeresőt próbáltad már kikapcsolni arra a részre? Sokat segít, ha egyébként biztos vagy benne, hogy nincs benne malware, vírus vagy egyéb kártevő.

Mi a felhasználás mintázata?

- ezek konstans fájlok, amik ritkán változnak, vagy szinte soha, vagy gyakran, random?

- túlnyomórészt csak olvasás, néha ritkán felülírás, törlés?

- Fájl méretek változnak íráskor?

- mi a fájl méretek eloszlása?

Lehetne spéci nagy fájlokba összefogni a kicsiket, pl protobuf message formájában. Vagy ISO-t csinálni belőle. Vagy... a felhasználástól függ.

Vagy, ahogy mások is írták, a víruskergetőbe kivételt tenni, vagy ha maszek projekt, inkább valami egyszerűbb adatbázisba betolni a sok kis állomány tartalmát, és az azt használó programot is ehhez átalakítani.

Ez alapvetően jhipster-rel generált java projekteket jelent. Rengeteg kicsi fálj. Nem lehet törölni vagy zippelni ideiglenesen.
A legtöbb file >99% ritkán változik, inkább olvasásra kerül sor, törlésre szinte sosem.
File méretek változása kicsi és nulla közötti leggyakrabban.
Méretek elosztására nincs adat.
Víruskergető a cégesen nem befolyásolható group policy miatt.
Mint kiderült a vhdx sem használható szintén group policy miatt.

Arra jutottam, hogy ezt így kell elfogadni.

Igen, ezt így el kell. Fizesse csak ki a cég az extra várakozási időket, ha group policy miatt mindenben hátrakötik a kezed. Mert egyébként javasoltam volna vagy ramdrive-ot vagy natív Linuxot, de ha már egy vhdx-et se engednek, akkor ezeket se fogják, így ez olyan szitu, amiben nem nyerhetsz. Csinálod lassan, várakozol, közben kávézol, magánlaptopozol, rádiót hallgatsz, hogy teljen a várakozási idő, stb..

“I didn’t start using Linux so I could have friends.” (Luke Smith, 2019) 🐧

Ahogy fent is írták, RAMDisk? Annál gyorsabbat nemigen találsz. 2GB-ra még jó lehet.

Szerkesztve: 2021. 05. 20., cs – 12:52

Nem defrült ki, hogy melyik a lassú belőle és mennyire. A másolás, a tömörítés vagy a kitömörítés.

Mert például, ha a belépített win-es zip-et használod, akkor az önmagában is nagyságrenddel lassabb lehet, mint egy 3rd party komolyabb program (például intézős kitömörítés vs 7zip)
A fájlok másolásánál ha egyik lokális helyről másikra, akkor is lehet, hogy valami 3rd party megoldás jól beállítva gyorsabb (régen total commandernél buffer jó beállítással szintén gyorsab volt intézőnél, bár ez nem most volt).