セッションタイトル

The Silent Cost of Noisy Logs—and What you Can do About it

はじめに

ニューヨークの地下鉄システムを想像してみてください。毎日何百万人もの人々が何百もの駅から目的地を目指し、膨大な情報が行き交います。そこには多くの重複や矛盾があり、全体を把握するのは非常に困難です。企業が扱うログデータもこれに似ています。ファイアウォール、アプリケーション、ネットワークなど、あらゆるソースから生成されるログは、その複雑さゆえに管理が非常に難しいのです。

この膨大なログの管理は、あなたのチームに多くの課題をもたらしているかもしれません。

  • コストの肥大化: ログの量が増えれば増えるほど、取り込み、インデックス化、管理、分析にかかるコストも増大します。特に、分析ツールやSIEMプラットフォームに送信する場合、その費用はかさみます。
  • コンプライアンスリスク: 銀行、医療、金融など、規制の厳しい業界では、PCI DSS、HIPAA、GDPRといった様々な規制があり、機密データの送受信方法や保存場所が厳しく制限されます。複雑な環境で大量のログを扱う場合、機密データを適切に管理するのは非常に困難です。
  • ノイズに埋もれるシグナル: 大量のログの中から本当に必要な情報、つまり「シグナル」を見つけ出すのは至難の業です。関連性の低い情報が様々な形式で混在しているため、問題解決までの時間が遅れたり、顧客への影響が拡大したりする可能性があります。

これらの問題に対し、個々のエンジニアリングチームにログの整理を依頼したり、ログがツールに送信された後にフィルタリングを適用したりといった方法では、大規模な運用において持続可能とは言えません。データ取り込み前に静的なフィルタリングを適用すると、後で必要となる可能性のある重要なデータを見落とすリスクもあります。

そこで、Datadogが提供する「Observability Pipelines」の出番です。

Observability Pipelines: ログ管理のグランドセントラル駅

Observability Pipelinesは、まるでログデータの「グランドセントラル駅」のように機能し、ベンダーのソースや送信先に関わらず、すべてのログトラフィックを一元的に管理・処理する「中央集権型のアプローチ」を提供します。既存のロギングツールやセキュリティツールとの統合により、ログを収集、集中処理し、必要な場所に直接ルーティングできます。

このソリューションは、Datadogのオンプレミスおよびベンダーニュートラルなログソリューションであり、どのような既存のロギングソリューションやSIEMソリューションを使用していても、企業のログを収集できます。

具体的に、Observability Pipelinesで何ができるのでしょうか？目的ごとに以下のようなものが挙げられます。

コスト削減とノイズの抑制

  • スロットルプロセッサ: 新しいアプリケーションが毎分数十万のイベントを送信するような場合でも、スロットルプロセッサを使用して特定のレート制限を適用できます。これにより、重要なエラーログがノイズの多い成功ログに埋もれて見落とされるのを防ぎます。
  • DDプロセッサによる重複排除: ハートビートや成功レスポンスなど、モニタリングには重要だが非常にノイズの多いログを、DDプロセッサが自動的に数千件の重複ログを1つの要約されたログに結合し、最大90%のボリューム削減を実現します。
  • 動的サンプリング: プロダクション環境のログはデバッグやトラブルシューティングに不可欠ですが、費用対効果に見合わないほどのボリュームで送信されている場合があります。Observability Pipelinesでは、動的なサンプリング設定により、コストを抑えながら重要なログを保持し、チームやサービスごとにコストを紐付けて管理することも可能です。

ログデータの品質向上と洞察の抽出

  • ログからのメトリクス抽出: ログを取り込む前に、ログからメトリクスを抽出できます。例えば、ステータスごとのリクエスト数をメトリクスとして定義し、15ヶ月間保持することで、長期的なトレンドを正確に把握し、予測モデルに活用できます。
  • 構造化とエンリッチメント: ログから価値ある洞察を抽出するためには、データを検索・分析しやすい形式に変換する必要があります。Observability Pipelinesのパーシング機能は、非構造化ログを自動的に構造化されたJSON形式に変換し、IPアドレス、ステータスコード、ブラウザ、時刻などのデータを抽出します。150以上の事前設定されたパーシングツールが利用可能です。
  • カスタムコンテキストの追加: 異なるベンダーやアプリケーションからのログを統合する際、カスタムコンテキストを追加してデバッグを簡素化できます。カスタムプロセッサを使用すれば、高度な処理（データのデコード、タイムスタンプのリマッピングなど）をカスタムロジックで実行できます。
  • OCSFサポート: セキュリティログのオープンソース標準であるOCSF（Open Cybersecurity Schema Framework）に準拠した形式にログを自動的に構造化し、Splunk、Amazon Cloud Sim、Google Chronicle、Microsoft Sentinelなどの任意のSIEMに柔軟にルーティングできます。

柔軟なルーティングとコンプライアンス管理

  • 優先度に応じたルーティング: すべてのログが同じ価値を持つわけではありません。Observability Pipelinesを使用すると、ログを優先度やユースケースに応じて簡単にルーティングするパイプラインを構築できます。例えば、セキュリティイベントはSIEMツールへ、アプリケーションやDevOpsのログは別のロギングツールへ、といった具合にトラフィックを分割できます。
  • 機密データの保護: PII（個人を特定できる情報）、医療情報、クレジットカード番号、IPアドレスなど、ログに含まれる機密データを、Datadogや他の外部ツールに到達する前に、自社の環境内でスキャンし、難読化することができます。これにより、ログの送信先に関わらず、コンプライアンスを維持するのに役立ちます。
  • 複数ツールへのデュアルシッピング: 新しいロギングツールを試したり、既存のツールから移行したりする際にも便利です。Observability Pipelinesは、ログトラフィックを複数の送信先に同時に「デュアルシッピング」できるため、大規模な変更を行うことなく、新しいツールを評価・テストできます。

成功事例：コストを大幅削減し、コンプライアンスを強化


ある急成長中のニューヨークを拠点とする通信会社は、毎日10テラバイトものログを管理し、断片化された複雑なロギング技術スタックと高頻度の機密データ収集という課題に直面していました。彼らは、Observability Pipelinesを導入してログを収集、変換、エンリッチすることで、劇的な改善を達成しました。

  • ログコストを最大56%削減: 不要なログやノイズの多いログを排除することで、コストを大幅に削減しました。
  • 問題解決までの時間を最大2.7%短縮: ログをより実用的なものにすることで、チームの問題解決能力が向上しました。
  • コンプライアンス体制を強化: 機密データをより迅速かつ自動的に検出し、ルーティング前に処理することで、コンプライアンスを強化しました。
    この企業は、Datadogの他の製品やログ管理ソリューションを以前は使用していませんでしたが、Observability Pipelinesから簡単に開始し、Datadogへの移行を試すことができました。

まとめ

Observability Pipelinesは、最も複雑な環境であっても、コストを最適化し、ノイズの多いログを制御するためのシンプルかつ強力な方法を提供します。
ログ管理において、中央集権的なコントロールプレーンとObservability Pipelinesを導入するチームは、主に3つの目標を達成できます。

  1. 不要なデータの削減: ログからメトリクスを抽出し、冗長な情報やフィールドを削除することで、全体的なノイズを低減し、コストを抑制します。
  2. 保持するデータの強化: ログに適切なタグ付け、必要なコンテキスト情報の追加、標準化を行うことで、チームがログをより簡単に利用できるようにします。
  3. ログのルーティングと機密データの管理の制御: 適切なチームが適切なタイミングで適切なデータにアクセスできるようにし、データを管理下に置き、コンプライアンスを維持します。

これらの戦略とDatadog Observability Pipelinesを活用することで、あなたの組織もログ管理の課題を克服し、より効率的でセキュアな運用を実現できるでしょう。