はじめに

DX開発事業部の北村です。

2025年8月6日にGoogle Cloud Next Tokyo 2025に参加してきました。

『Datadog による AI エージェント オブザーバビリティの最前線』というセッションを聴講しましたので、内容の一部と学びをまとめます。

セッション概要

タイトル：Datadog による AI エージェント オブザーバビリティの最前線

登壇者：Datadog Japan合同会社 木村 健人 氏、Datadog Japan合同会社 横尾 杏之介 氏

公式より

Google Cloud では Vertex AI や Cloud Run を基盤とした AI エージェントの活用が広まっています。一方で、従来の監視に加えて AI エージェントに特化したオブザーバビリティが求められます。
本セッションでは Datadog の LLM Observability や Bits AI が AI エージェントとオブザーバビリティの可能性をどのように高めることができるかを紹介します。

セッション内容

AIエージェントが「使う」フェーズから「作る」フェーズに入っている中で、AIエージェントの挙動がブラックボックス化しています。それをどのように可視化して評価していくかを詳しく解説いただきました。

Google CloudとAIエージェント

AIエージェントは、社内などでAIエージェントを使って業務改善をしていく「使う」フェーズから、AIエージェントでの業務改善にプラスして、プロダクトにAIエージェントを実装し、顧客に価値提供をしていく「作る」フェーズに入っています。

そのような「作る」フェーズにおいて、Google Cloudは、AIエージェントの実行環境として最適となっています。AIエージェントといえばGoogle Cloudと言っても過言ではありません。AIエージェントを構築するフレームワークやAIエージェントに最適化されたランタイム、AIエージェント同士を繋ぐプロトコル、ツールに至るまで、AIエージェントに関するサービスがほぼ全て揃っています。さらに、以下のような特徴から、Google CloudでAIエージェントを構築するメリットが多くなっています。

  • 柔軟性：ゼロスケール可能なインフラストラクチャ
  • 信頼性：管理不要で堅牢なネットワークとセキュリティ
  • 開発体験：コンテナ・ソースコードから直接デプロイ
  • 生成AI：複数のフレームワーク対応とAPIキー不要の認証
  • 通信：HTTP/2,Websocketでのストリーミングエンドポイント

ブラックボックス化するAIエージェント

しかし、AIエージェントにも課題があり、AIエージェントは、非決定論的（必ずしも同じ結果にならない）に動作するため、結果に至るプロセスがブラックボックス化します。プロセスがブラックボックス化すると、プロダクトにAIエージェントを実装してもユーザーにとって望ましくない結果が出力される可能性があり、改善なども難しくなってきます。

そのブラックボックス化を解消するために、従来では以下のようなアプローチを行っていました。

  • プロンプト管理：ユーザーの入力とAIエージェントの出力を記録
  • モデル評価：モデルの推論結果から多角的に品質を評価
  • システム監視：AIエージェントを構成するシステムを監視

従来のアプローチは、ある程度AIエージェントのブラックボックスを解消しますが、AIエージェントの自律的な動作の部分は可視化できずブラックボックスのままです。そこで、AIエージェントの自律的な動作のブラックボックスを解消するAIエージェントのためのアプローチが必要となります。

AIエージェントのためのアプローチでは、評価指標の可視化と改善が重要となります。

そのために、オブザーバビリティのアプローチが効果的となり、特にAIエージェントの構築にあたるフレームワークの部分（ブラックボックス化する部分）は、新たなアプローチが必要となってきます。

ℹ️ オブザーバビリティ：システムの内部で何が起きているかを、そのシステムの出力（データ）から把握すること

AIエージェントとオブザーバビリティ

そもそも、なぜ「AIエージェントのオブザーバビリティ」が必要なのでしょうか。

それは、AIエージェントとその実行環境は、「非決定論的な性質」を持つため、内部状態の可視化が必要となってくるためです。

内部状態を可視化することで、あらゆる観点で評価することができ、改善の施策をしやすくなり、より安定した高品質なAIエージェントに成長させることができます。

DatadogでどのようにAIエージェントオブザーバビリティを構成できるか

Datadogを利用すれば、AIエージェントのオブザーバビリティを実現することができます。「LLM Observability」では、上記で紹介した「AIエージェントオブザーバビリティの指標」に沿ったオブザーバビリティ・評価をすることが可能です。

例えば、上記のようにAIエージェントの推論プロセスの可視化を行い、問題がある部分も可視化することが可能です。他の評価指標に沿ったグラフやログを簡単に可視化することも可能です。

DatadogでAIエージェントをどう活用しオブザーバビリティを高めるか

Datadogでは、自律的に原因調査などを行う「Bits AI」という機能があります。「LLM Observability」と「Bits AI」を活用することで、あらゆる観点でAIエージェントの評価を行いながら、自律的に原因調査・問題解決・修正などが可能になり、よりAIエージェントのオブザーバビリティを高めることが可能となります。

例えば、Vertex AI上のAIエージェントが出力したログをCloud Logging経由でDatadogに連携し、LLM Observabilityで推論トレースを可視化。予期せぬ挙動を検知したら、Bits AIが根本原因を分析し、開発者にSlackでレポートを自動通知する、といった強力な連携が実現できます。

AIエージェントの構築〜デプロイ・運用に至るまで、他に類を見ないほど充実・最適なGoogle CloudでAIエージェントを管理し、DatadogでAIエージェントのオブザーバビリティを高めることで、必要不可欠なAIエージェントの品質・コスト・パフォーマンス・安全性などをより高めることができます。

まとめ

今回のセッションを聴講し、Google Cloudは、AIエージェントの構築〜デプロイ・運用まで、かなり充実し最適な環境が揃っていることが実感できました。

しかし、推論プロセスのブラックボックス化は、AIエージェントをユーザーに提供するにあたって大きな課題となることも実感しました。推論プロセスがブラックボックス化することで、AIエージェントの安定した出力が難しくなり、ユーザー体験を損なう結果にもなると感じました。ユーザーにとって安定感のない出力は、信頼感の低下につながり、プロダクトからの離脱につながります。ユーザー体験をさらに向上させてプロダクトを大きく成長させていくためにも、AIエージェントのオブザーバビリティは、かなり効果的ではないかと感じました。推論プロセスを可視化することで、出力が安定しない原因が明確になり、さらには、パフォーマンスやコスト・安全性なども可視化することができ、AIエージェントを継続的に成長させていくためにやりたかったことが全てできるのではないかと感じました。それを可能にするDatadogは、これからのAIエージェント時代に不可欠なサービスではないかと感じました。

私自身、AIエージェントを構築する方法をキャッチアップすることに意識が向いていましたが、構築後の改善などもより意識していく必要があると感じました。そのためにAIエージェントのオブザーバビリティなどもより詳細にキャチアップしていきたいと感じました。