Kicsit megint önellentmondásban vagy. Egyrészt azt próbálod elmondani, hogy neked nem volt ilyenre szükséged, ergo biztosan ez az általános felhasználás unix adminoknál, hogy nem kell nekik X-es szoftvert futtatni. Kicsit gondolati hibás ez az érvelés...
Másrészt, te magad írod, hogy amikor ilyenre volt szükséged (ergo, mégis akad ilyen eset!), akkor helyben a unix szerveren indítottál egy Xservert.
A kérdés csak az, hogy akkor a program, ami X-es volt, annak a gui-ját hogyan láttad, ha az XServer a magán a serveren futott?
Direktbe 0.0.0.0-ra bind-oltad és kiengedted a nagyvilágba, és rámentél mondjuk egy vnc kliensel? (Feltéve persze hogy vnc-s Xserver volt. Abból gondoltam, hogy említetted, hogy olyan Xservert indítottál, ami nem kért grafikus csatolót. Ha más, nyilván majd kifejted azt a use-case-t.)