Google検索してもいかがでしたか？？？？されて役に立たない解決策がでてこないので怒りの投稿。Google検索の汚染具合がひどすぎて最近はBing検索に切り替わりつつある。公式サイトがでてこないとか頭悪すぎる。
解決策
もしSSH接続をコマンドラインで行っている場合
$ ssh -l サーバーID -p 10022 -i 公開鍵ファイルを指定 sv****.xserver.jpユーザーIDを指定する箇所はサーバーのIDを指定（sv****の形ではない）
xserverのサーバーコントロールパネルの上部に記載がある。（例ではhogehoge）
接続先のサーバーはサーバー情報のホスト名を指定
公開鍵ファイルは自分で作っても、コントロールパネルで生成しても良い。
まとめると
$ ssh -l hogehoge -p 10022 -i ~/.ssh/id_rsa_xserver sv00000.xserver.jpみたいな形で接続が可能。
とくにユーザーIDを間違っているだけで一生「Permission denied (publickey,gssapi-keyex,gssapi-with-mic).」を吐き出され続ける。
もしこれでなおらない場合は、秘密鍵のパーミッションが600になっていない可能性はもちろんあるので、だめなら確認しても良い。
怒りのいかがでしたかで疲れた人のお役に立てば。