さくらVPSにdebian8をインストールして、TCPWrapperで制限を掛けましたが、まだ簡単にできるセキュリティ対策は有るので設定しておきます。
SSHサーバの認証は、一般的なパスワード認証に加えて、SSL証明書による電子鍵による接続認証を使うことが出来ます。
この電子鍵にはパスフレーズと呼ばれる一種のパスワードも組み合わせており、電子鍵のペアを組み合わせる事とパスフレーズを正しく入力できる事の二段階のセキュリティを実現出来ますので、セキュリティ目的には使わないと損だと言える位の効果があると思います。
私は今まで使っていた鍵のペアを持っている(バックアップしていた)のでそれを使いますが、LinuxのSSHにはたいてい鍵を生成する機能が付いているのでそれで生成しても良いでしょう。