Xmms elég régi darab, van egy naprakészebb forkja audacious néven, rengeteg pluginnal, flac tuti van, ape-t nem próbáltam még, de szerintem azt is tudja. Talán adj egy esélyt az exaile-nak is, bár ez még annyira nem kiforrott, de ígéretes.
A hangzás összefügghet az alsa driver minőségével, próbálj ki egy kernel és/vagy alsa-driver update-t, az OSS az már erősen deprecated :)