Úgy tudom, ellentétben az Ati kártyával nvidián be kell kapcsolni a composite-ot.
Esetleg próbáld meg ezt: http://www.compiz.net/viewtopic.php?id=389
és itt a second how-to az első hozzászólásban. Itt nem a gdm indítja az xgl-t hanem egy külön session.
Valamint ilyet is találtam:
Option "RenderAccel" "true"
Option "AllowGLXWithComposite" "true"