Az ext4 moduljába is be lehetne tenni mount opciónak a jogosultságok nélküli viselkedést a kernel moduljába ( vagy lemásolod a modult ext5 néven :D ). De persze csak a topic címe miatt írtam a lehetőségről, valójában ezer és egy optimalizációs megoldás van amikkel szerintem sokkal többet lehet nyerni mint a jogosultságokkal, lásd noacl, io scheduler, journal, kernel memory cache handling, stb. az ext4-et eleve mint általában jó középmegoldásként szokták emlegetni, fentebb is emlegettek már más fájlrendszereket.
Ha meg a processzor időről beszélünk, akkor mégiscsak kernel fordítás - debug symbolok kihagyása, stb. meg persze a default linuxon futó számodra felesleges szolgáltatások kiírtása, visszafogása, pl. naplózás csökkentése, lightweight ablakkezelő, ha kell egyáltalán grafika, stb.
De ha tényleg komolyan gondolod a dolgot, akkor minek a fájlrendszer? az is csak overhead, pl. symlink támogatás, könyvtárak, stb. írj egy programot ami blokkokat címez egy üres partíción, és a program tartja nyilván ki kivel van, akkor pont annyit tudsz belőle implementálni, amennyire szükséged van, ami elmondásod szerint ugye nem sok.