Restriction de l'accès au serveur X

Bonjour,

Au risque de me heurter aux défenseurs de la liberté, est ce qu'il existe un moyen d'interdire l'accès à l'interface graphique d'une machine à un utilisateur sans pour autant lui interdire de se connecter en mode terminal ?
Pour la petite histoire, certains utilisateurs de notre serveur de sessions (on utilise des terminaux X) lancent des applications graphiques lourdes (malgré l'interdiction qui en est faite) et saturent le serveur....et bloquent les sessions des autres collègues. Comme ils ont des machines personnelles avec des interfaces X (contrairement aux autres), leur bloquer l'utilisation du serveur commun en mode graphique ne serait pas un gros sacrifice pour eux....et réduirait les risques de fronde chez les autres utilisateurs.

Merci