Ez így ahogy van nem igaz.
Az X11 nem a konzolra épül, közvetlenül fér hozzá a hw-hez (ezért is kell neki külön VGA driver, keyboard driver, mouse driver, stb)
Az, hogy először a virtual terminalt látod, utána az X11-et, az indítási folyamat sajátsága. A kernel üzeneteket akár soros portra vagy kizárólag fileba is küldheted, a virtual terminal teljes kikapcsolása (vagy a kernelből eltávolítása) mellett, az X11 attól még működni fog, mert köze sincs hozzá.
Az általad rosszul feltételezett alá-fölé rendeltség nélkül értelmét veszti a vt/vc "mély" jelzője (nem, a "nagyon" értelemben sem - miért lenne ez jobban "konzol" mint pl. az xterm?)
szerk: ne gyere azzal hogy te először bejelentkezel vc-n utána startx, erre az XDM (vagy kdm, gdm, stb) való, ami kb egyidős az X11-el