Amazon Elasticsearch Service の Kibana にプロキシ経由でアクセスする考察

• tl;dr
• やったこと
  — 構成イメージ
  — プロキシ用 EC2 の作成
  — Amazon ES の作成
  — EC2 への Nginx インストールと設定
  — CloudWatch Logs Agent のセットアップ
  — Kibana へのアクセス
  — アクセスログ
• 以上
  — 感想
  — メリ
  — 出目
  — 解決出来ていない課題

tl;dr

Amazon ES の Kibana へのアクセスってログ取れたらいいのになーと思ったので、以下の記事を参考に Kibana の前に Nginx か何かでプロキシサーバーを立ててみることにした。

• https://aws.amazon.com/jp/blogs/security/how-to-control-access-to-your-amazon-elasticsearch-service-domain/

やったこと

構成イメージ

プロキシ用 EC2 の作成

• CentOS 6.x
• IAM role を付与しておく（ポリシーは以下のポリシーを付与）

- AmazonEC2ReadOnlyAccess
- CloudWatch-Logs

CloudWatch-Logs は以下のようなポリシーとなっている。（Nginx のログを CloudWatch Logs に送る為）

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "logs:DescribeLogStreams"
            ],
            "Resource": [
                "arn:aws:logs:*:*:*"
            ]
        }
    ]
}

Amazon ES の作成

• AccessPolicy の設定で EC2 の IP を設定しておく（例：xx.xxx.xx.0）

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "AWS": "*"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:ap-northeast-1:xxxxxxxxxxxx:domain/oreno-es/*",
      "Condition": {
        "IpAddress": {
          "aws:SourceIp": "xx.xxx.xx.0"
        }
      }
    }
  ]
}

EC2 への Nginx インストールと設定

• 自己証明書の作成と設置（参考：http://qiita.com/hito3/items/0e539e82ee3c410cccf1）

$ cd ~/
$ openssl genrsa 2048 > server.key
$ openssl req -new -key server.key > server.csr
$ openssl x509 -days 3650 -req -signkey server.key  server.crt
$ sudo mv server.* /etc/nginx/conf.d/
$ cd /etc/nginx/conf.d/
$ sudo chown root:root server.*

• Nginx の設定

$ cat /etc/nginx/conf.d/es.conf
server {

  listen       443  default ssl;
  ssl on;
  ssl_certificate     /etc/nginx/conf.d/server.crt;
  ssl_certificate_key /etc/nginx/conf.d/server.key;

  server_name oreno-es.inokara.com;
  proxy_set_header Host $http_host;
  location / {
      proxy_pass https://search-oreno-es-xxxxxxxxxxxxxxxxxxxxxxxxxx.ap-northeast-1.es.amazonaws.com/;
  }
}

• Nginx の再起動

sudo service nginx restart

CloudWatch Logs Agent のセットアップ

• /var/awslogs/etc/awslogs.conf

$ sudo cat /var/awslogs/etc/awslogs.conf

(snip)

[/var/log/nginx/access.log]
datetime_format = %d/%b/%Y:%H:%M:%S
file = /var/log/nginx/access.log
buffer_duration = 5000
log_stream_name = {instance_id}
initial_position = start_of_file
log_group_name = /var/log/nginx/access.lo

Kibana へのアクセス

• https://xxx.xxx.xxx.0/_plugin/kibana にアクセスする
  
  やったー、アクセス出来た。

アクセスログ

• プロキシ用サーバー上で確認

$ sudo tail -f /var/log/nginx/access.log

(snip)
xxx.xxx.xx.xxx - - [22/Oct/2016:11:28:46 +0900] "POST /.kibana-4/_mget?timeout=0&preference=1477103333038 HTTP/1.1" 200 2843 "https://xxx.xxx.xx.0/_plugin/kibana/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36" "-"
xxx.xxx.xx.xxx - - [22/Oct/2016:11:28:46 +0900] "GET /_plugin/kibana/bower_components/font-awesome/fonts/fontawesome-webfont.woff?v=4.2.0 HTTP/1.1" 200 65452 "https://xxx.xxx.xx.0/_plugin/kibana/styles/main.css?_b=7562" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36" "-"
xxx.xxx.xx.xxx - - [22/Oct/2016:11:28:47 +0900] "GET /_plugin/kibana/styles/theme/elk.ico HTTP/1.1" 200 1150 "https://xxx.xxx.xx.0/_plugin/kibana/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36" "-"
xxx.xxx.xx.xxx - - [22/Oct/2016:11:28:47 +0900] "POST /.kibana-4/__kibanaQueryValidator/_validate/query?explain=true&ignore_unavailable=true HTTP/1.1" 200 190 "https://xxx.xxx.xx.0/_plugin/kibana/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36" "-"
xxx.xxx.xx.xxx - - [22/Oct/2016:11:28:47 +0900] "POST /cwl-2016.10.22/_msearch?timeout=0&preference=1477103333038 HTTP/1.1" 200 9323 "https://xxx.xxx.xx.0/_plugin/kibana/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36" "-"

• CloudWatch Logs でも確認

以上

感想

• 思ったよりも簡単にプロキシ経由で Kibana にアクセスすることが出来た

メリ

• Kibana へのアクセス（厳密には Amazon ES へのアクセスも）を EC2 のセキュリティグループや Web サーバーの認証機構を利用出来る
• Amazon ES のアクセスポリシー変更作業に依存しなくなる（構成変更に時間が掛かる…）、EC2 の IP だけアクセスポリシーに設定しておけば良い

出目

• EC2 を用意する必要がある
• 同時に EC2 の管理を行う必要がある

解決出来ていない課題

• Kibana だけアクセスさせるという課題はプロキシでも解決出来ない（Kibana にアクセスさせるけど Elasticsearch API を叩かせないということは出来なさそう）

元記事はこちら

「Amazon Elasticsearch Service の Kibana にプロキシ経由でアクセスする考察」