Próbáltad másik video output modullal? Gyanítom a hardvergyorsítás lehet ludas. Talán unrelated (talán nem), de nekem linuxon a default HW gyorsítás (talán VDPAU?) elég csapnivaló képet produkált, de a VAAPI működött.