A man szerint: "compare two sorted files", tehát igen,előtte sort-olnod kell a fileokat. Az eredeti pipelineod ettől eltekintve egyébként jó.
A "helyben" sortolást a következőképpen lehet megcsinálni:
comm -12 <(sort -n file1) <(sort -n file2) | comm -12 - <(sort -n file3) | comm -12 - <(sort -n file4)