Oi Marcel_tog,
Creio que essa questão envolva um pouco mais do que nos forneceu.
É importante saber qual sistema operacional está utilizando (versão e distribuição do linux); e não menos importante, como está tentando carregar o X.
Isso auxiliaria muito na ajuda, uma vez que as respostas podem apontar para soluções que você não precisa no momento.
Como demonstrado pelo Thunder_Catz, uma solução seria a disponibilizada por ele, porém, se está acessando via SSH de outro linux é diferente; se o acesso for através do windows, o processo é outro também.
Portanto, nos auxilie com mais informações, se possível alguns detalhes relevantes, como algum erro que encontrou na tentativa e os comandos utilizados para que possamos ajudar efetivamente.
[]s
Braga