sensu-server のログを CloudWatch Logs に送ってみましたが…

どうも、自称 sensu 芸人の かっぱ (@inokara) です。

はじめに

sensu-server のデバッグしてて sensu-server の過去ログをさかのぼって見たいなーって思ったので fluentd を介して CloudWatch Logs に送ってみたら…って思ってやってみました。

準備

特に難しいことはありません。（既に td-agent が CentOS 6 の環境にセットアップされているという前提で記載します。）

fluent-plugin-cloudwatch-logs のインストール

/usr/lib64/fluent/ruby/bin/gem install fluent-plugin-cloudwatch-logs --no-ri --no-rdoc -V

fluent-plugin-cloudwatch-logs の設定

リージョンと API キーの設定

echo "export AWS_REGION=us-east-1" >> /etc/sysconfig/td-agent
echo "export AWS_ACCESS_KEY_ID=AKxxxxxxxxxxxxxxxxxxxxxx"  >> /etc/sysconfig/td-agent
echo "export AWS_SECRET_ACCESS_KEY=xxxxxxxxxxxxxxxxxxxxxxxxxx"  >> /etc/sysconfig/td-agent

fluentd（td-agent.conf）の設定

/etc/td-agent/td-agent.conf

include conf.d/*.conf

fluentd（td-agent.conf）の設定（2）

fluent-plugin-cloudwatch-logs で CloudWatch Logs に sensu-server.log を送る設定をします。
/etc/td-agent/conf.d/sensu-server.conf

  type tail
  format json
  path /var/log/sensu/sensu-server.log
  tag sensu.server.log
  pos_file /tmp/sensu.server.log.pos



  type cloudwatch_logs
  log_group_name sensu
  log_stream_name sensu-server-log
  auto_create_stream true

fluentd（td-agent）の再起動

sudo service td-agent restart

しばらくすると…

Log Groups に…

Streame に…

sensu-server のログが

ログを放り込むことは出来ましたが…

求ム検索機能

そもそもログの中から任意のログを抽出したいというのがそもそもの目的でしたので…以下の資料でも言及されているように…

• CloudWatch Logsについて

検索機能が欲しいところですなあ。

時間を遡ることが出来るので

とりあえず、下図のように手軽に時間を遡ることが出来ますので、ちょっと昔のログとかを見たいと思って時間で grep とかしなくても良いのは嬉しいです。

元記事はこちらです。
「sensu-server のログを CloudWatch Logs に送ってみましたが…」