Ez a sor elég árulkodó:
"[h264_nvenc @ 0x1d809a0] OpenEncodeSessionEx failed: unsupported device (2)"
Eszerint a videókártyád nem alkalmas a kódolásra. Javaslom e két oldal tanulmányozását:
Itt a "GeForce 8 (8xxx) series" táblázatból a "Code name" oszlopban lévő azonosító kell: List of Nvidia graphics processing units
Ezen az oldalon a fenti azonosítót az "NVENC Support Matrix" táblázat "CHIP" oszlopában kell keresni: Video Encode and Decode GPU Support Matrix
Mivel nincs meg ezért az idézett hibaüzenet helyénvalónak látszik. Tehát a kártyád túl öreg és nem képes videó kódolására.