Egy bizonyos méret fölött mindenképpen vízszintesen kell skálázódnod, ez meg innentől kezdve csak tervezés kérdése, a programnyelv majdnem teljesen mindegy. A klasszikus SQL alapú adatbázisokat például teljesen el kell felejteni.
Ha relatív kevés fejlesztéssel meg akarod úszni, akkor ráépítesz valamilyen vízszintesen skálázódó keretrendszerre (pl. hadoop), de ennél is jobban jársz ha inkább nem méretezel több millió userre. Nagy valószínűséggel gazdaságilag jobban megéri kidobni az egészet és újraírni akkor amikor már tényleg szükség van rá.
Lazán kapcsolódó előadás a témában:
https://www.youtube.com/watch?v=FJByltoGnA8