OpenGL-hez sem feltetlenul kell X, de dolgozni kell vele.
Ami OpenGL-hez kell, az a rendering context meg surface. Az XOrg is tud lenni OpenGL surface, de anélkül is használhatod, csak akkor dolgozni kell, méghozzá úgy, hogy EGL adja a surfacet és rendering contextet.
https://devblogs.nvidia.com/linking-opengl-server-side-rendering/
https://devblogs.nvidia.com/egl-eye-opengl-visualization-without-x-serv…
De ha GPU szamitasokat akarsz csinalni, akkor miert az OpenGL fogalomkoreben dolgozol az erre kitalalt OpenCL vagy CUDA helyett?