A leírtakhoz legközelebb álló megoldás talán egy histogram lenne (kerestem a leírtaknak megfelelő célprogramot, de nem nagyon találtam ilyet. Hátha valaki ügyesebben keres majd).
pl.: ffplay -i video.mp4 -vf histogram
Nyilván ez real time, nem egy teljes hosszra levetíthető grafikon.
Esetleg még ebből lehetne valami összegányolni:
http://linux.die.net/man/1/gsl-histogram
Mondjuk ffmpeggel lemaszkolod a videót az adott színre (azaz hogy csak a kérdéses szín legyen fehér), majd ennek a kimenetét valahogyan rádrótozod a gsl-histogram bemenetére. Az így nyert adatokat pedig a manban jelzett módon graph-al kirajzoltatod. Csak egy kósza ötlet, de beválhat.
Ebben a videóban OpenCV segítségével maszkol a srác:
https://www.youtube.com/watch?v=JcDZxohDq2w