Én használom rendszeresen, biztos nem kell hozzá VNC.
Már régen állítottam be, ha jól emlékszem, annyit csináltam, hogy az /etc/xrdp/startwm.sh végére beírtam, hogy /usr/bin/startxfce4 (nem a default xinit-et vagy mi a szöszt hagytam benne, mert azzal hasonlóakat csinált, mint amit leírtál).