Jól értem, hogy azt szeretnéd, hogy ott, ahol átlátszó a videód, ott a videót lejátszó ablak hátterében levő bármit szeretnéd látni? Vagyis mintha egy lyuk lenne az ablakban?
Ha igen, akkor ezt szerintem így kb. semmi nem támogatja. Amit lehet, hogy pl. az egész videólejátszó ablakot áttetszővé teszed (compositing kellhet hozzá), és ekkor a videó fekete területei mögött látni fogod a hátteret. A gond az, hogy tökéletes megoldást így nem kaphatsz, mert vagy az előtér is túl áttetsző lesz, vagy a háttér nem lesz elég áttetsző.
Ami még eszembe jutott, az a probléma megfordítása. Vlc tud olyat (legalábbis windowson), hogy a háttérkép helyén jeleníti meg a videót: http://www.howtogeek.com/howto/18167/set-a-video-as-your-desktop-wallpa… Persze azt írja, directx output kell hozzá, de ez egy régi cikknek tűnik, hátha azóta ezt sikerült implementálni linuxra is.