はじめに
Datadogで新しくEC2を監視対象として追加した際にDatadogコンソール上で表示されるhostnameが、監視対象に関係のない過去にDatadogに登録されていた別のEC2のものが表示されてしまった事象の話になります。
解決前のDatadogコンソール上の表示
※左上のhostnameに表示されている i- 0d55xxxx は過去の存在した同じプライベートIPアドレスのインスタンスのものになっており、
右下のAliasesに表示されている i-0124xxxx が監視対象のものとなっている
解決方法
結論として、今回の事象はDatadogサポートでご対応いただき解決しました。
Datadogサポートに問い合わせ、過去に同じプライベートIPアドレスで登録されたEC2のホストエイリアスを
削除いただくことで、正常に監視対象のEC2のインスタンスIDがhostnameに表示されることを確認できました。
ホストエイリアス削除後のDatadogコンソール上の表示
※hostnameに右下のAliases欄に表示されていた監視対象のインスタンスIDが表示されるようになっている
環境
- Amazon Linux 2023
- Datadog Agent 7.47.1
解決までの流れ
まず事象として、冒頭に記載した通り、Datadogコンソール上で監視対象に設定されたhostnameが
表示されず別のインスタンスIDが表示されるという状態が発生しました。
- 正しいインスタンスID / i-0124xxxx
- 過去に登録されていたインスタンスID / i- 0d55xxxx
通常はhostnameに設定したEC2のインスタンスID (i-0124xxxx) が表示されるべきところに、過去に
登録されていた別のインスタンスID (i-0d55xxxx) が表示される状態となっていました。
Datadog Agentの設定を確認しましたが、 hostnameにi-0124xxxxが登録されており問題ない状態でした。
その他の設定も確認しましたが、問題点を見つけられずDatadogサポートに調査を依頼することになりました。
Datadogサポート回答-1
最初に回答いただいたのがDatadog Agentの設定でec2_prefer_imdsv2: trueにするという方法でした。
Datadog AgentはデフォルトではIMDSv1(*)を利用してインスタンスIDなどのメタデータの取得しています。
しかし、ec2_prefer_imdsv2: trueにすることでIMDSv2を利用してメタデータを取得するようになり、
IMDSv1を無効化したEC2でインスタンス情報の取得ができるようになるという設定変更でした。
上記設定を実施しましたが、この方法だけでは本事象を解決することができませんでした。
(*)IMDSについてはこちらが参考になります。
Datadogサポート回答-2
回答1の対処方法では解決できなかったため、より詳細にDatadogサポートに調査いただき回答いただきました。
それが、過去に登録されていた別のインスタンスID (i-0d55xxxx) のホストエイリアスをDatadogサポートにて
削除していただくという方法でした。こちらの方法を実施することで正常にhostnameに設定したEC2の
インスタンスID (i-0124xxxx) がhostnameに表示されることが確認できました。
まとめ
結果として事象を解決することができ正常に対象の監視を行うことができる状態となりました。
しかし、同様の事象が発生した際には自力での対応方法はなく、Datadogサポートに対応していただくしか
解決方法がないという結論になってしまいました。
記載させていただいた内容が、同じ事象に遭遇された方の解決の一助となれば幸いです。
