Amikor -O2 -vel lefordítják a Linux disztribúciót, akkor nem arra vagy afölötti vasra tudod kizárólag telepíteni, hanem mindenre, ami a minimum követelmény felett van.
Ha magadnak akarod kihegyezni valamelyik szoftvert, akkor a saját architektúrádra fordítsd le, engedve a spéci utasításokat.
Már írtam, x86_64 esetén az AVX/nincs AVX kivételével alig van még nyereség. Viszint a klasszikus 32 bites vonalon nem mindegy, hogy i386-ig kell visszanyúlni, vagy Core2 és felette kell csak futni a szoftvernek.
ARM esetén szintén. A 32 bites az ARMv5 ... ARMv8.2-ig széles skálán mozog, a kompatibilitás lassít. AArch64 módban végig ARMv8 ... ARMv8.2, így itt nincs jelentős sebességtöbblet.