Datadog から SNS(Amazon Simple Notification Service) への通知ができるということで、 Datadog → SNS → Lambda → Slack で通知情報に＋αで情報付与をしてみます。
題材
Lambda で実行可能な物でしたら何でも良いのですが、常々不便を感じていた CloudFront のエラー通知で試してみました。
CloudFront で ErrorRate 上昇時に Datadog から Slack へ通知します。 これは Datadog の通常の機能(Metric Monitor)で実現できます。ですが、CloudFront の Tag は取得していないようで通知メッセージには DistributionId しか出力されません。
DistributionId で判別するのは中々敷居が高いので CNAME と OriginName を後追いで付与します。
1) Monitor 通知先の作成
通知先として使用する Slack と SNS の設定です。
Datadog の Integration ページの Configuration 記載内容に沿って各種設定を行います。
1-1) Slack
Incoming WebHook を作成します。
Datadog 側への設定に Webhook URLが必要になりますので、Slack の Configure Apps に追加します。
1-2) SNS
使用する SNS Topic を作成します。
例では dd-alert という名前で作成しました。
通知先設定の確認
正常に登録できていれば Datadog の Monitor 作成画面で選択可能になります。
2) Datadog Monitor の作成
Lambdaの関数を起動するトリガーとする Monitor を作成します。
例では 5xx Error Rate のメトリクスを使用しました。 尚、5xx Error Rate 等の未発生のメトリクスは Edit で選択できないので、初回は直接 Source に書く必要があるかもしれません。
通知先として作成した Slack Incoming WebHook と SNS topic の2つを指定します。
avg(last_15m):max:aws.cloudfront.5xx_error_rate{*} by {distributionid} > 10
5xx Error Rate over {{#is_alert}}{{threshold}}%{{/is_alert}}{{#is_warning}}{{warn_threshold}}%{{/is_warning}}
{{^is_recovery}} @slack-notice @sns-dd-alert {{/is_recovery}}
3) Lamdba Function の作成
アラート通知が発生した際に実行したい関数を作成します。 Slack通知がメインとなるため cloudwatch-alarm-to-slack-python をベースに作成しました。 IAM role へは CloudFrontReadOnlyAccess を付与しています。
Environment variables に作成した Slack Incoming WebHook と SNS topic を設定します。
例ではSNSを受け取り、通知された DistributionId を基に CNAME と OriginDomainName を取得します。
実行例
アラート発生した場合に通知される内容の例です。 タイミングにより通知される順序は前後します。
- 先にSNS
- 後にSNS
今回題材にした CloudFront の名称取得はその内 Datadog 側で対応してくれそうですが、
アラート受けてから別に確認していた情報を付与、実行していた処理を自動実行させる等、 色々と応用が効きそうです。
