Multithread?? Hát egy több millió user-es chat esetén a multi thread lenne az utolsó dolog amit kipróbálnék. Mindenképp async io-ban gondolkoznék. IPC-re redis vagy zqm vagy rabbitmq.
Prototyping python+asyncio vagy python+tornadoweb, és ha működik akkor átírni natív szervert c++ -ba.
Az is kérdés, hogy ez "csak" egy chat, vagy lesz benne szociális háló, vagy valami ami hálósan összeköti ezt a sok embert? Mert ha lesz, akkor még egy adatbázis kell, ami elosztott és hálósan lekérdezhető.