Nagy fileoknál jó a parallel.
cat nagyfile|parallel -j24 --pipe --block 1000M grep "keresoszo"
A szabott nagy 50-100 GB-os fileban keresünk grep keresoszoval, egyszerre 24 thread-el 1000MB-os darabokban. Ehez azért kell 32 GB RAM, de --block 256M esetén elég 8GB is.
Persze a nagy file lehet tömörítve is akkor zcat nagyfile kell.
Most néztem van ami 4x gyorsabb a grepnél a neve "ar". Érzésre simán duplán gyorsabb.
cat fileneve|ar "keresoszo"
cat nagyfile|parallel -j24 --pipe --block 1000M ar "keresoszo"
Ami még szuperjó hogy az ar rekurzív is és tömörítettben is tud keresni:
ar "keresoszo" -rz
ez a parancs minden alkönyvtárba végigmegy (default 25 mélység) és minden - de legalábbis minden .gz - fileban keresi a keresőszót. De valszeg bzip és lzop is megy.