"ha az mp4 egy konténer, akkor nem édesmindegy, hogy mi van benne? "
Nem, hiszen minden konténerformátum leírja, hogy milyen típusú streamek lehetnek benne. Mind az audiokodeknél, mind a videokodeknél létezik egy-egy lista, amely codecec benne lehetnek a konténerben, hiszen valamiképpen el kell küldeni az információt a lejátszó felé, hogy azt a bitsorozatot, amit a 2-es számú audio tracken talál, miként értelmezze.
És ez ugye a konténer metaadat-részében van leírva.
Az MKV esetén is definit az a lista, hogy milyen kódolású audio/video/text tartalom lehet benne:
https://www.matroska.org/technical/specs/index.html
Lásd: CodecID.
https://www.matroska.org/technical/specs/codecid/index.html
Ennyi minden lehet benne egy MKV-ban, ami szabványos.
Minden konténerformátumra igaz ez.