nem tudom korrektül megmagyarázni, de egy "xhost +" megoldja.
Ha normál userként csinálnád, akkor azt hiszem xhost parancs nélkül is megy.
Valami X-es security izébigyó....
Elméletileg az xhost paranccsal lehet állítgatni ki, honnan tud a lokális X szerverre csatlakozni...
(További információkért RTFM)