Hát én azt csinálnám, hogy kiirtanék mindent, aztán letennék valahova egy könyvtárat, legyen mondjuk /usr/share/fonts_minimal, aztán jöhet a fonts.conf, amiben csak ez az egy könyvtár lenne. Így aztán ha észreveszed, hogy valamelyik programnak kell még valami, akkor csak belerakod a fenti könyvtárba, majd futtatsz egy fc-cache-t és működik is az egész. Így csak tényleg a minimális fontkészleted lesz a gépen.