はじめに
概要
AIベースのチャットボットは、アプリケーションの使用方法や構築方法を変革している。 技術革新者として、ワシントン・ポスト紙は、Amazon Bedrockを使用して、文書、内部プロセス、ランブックを含むカスタムデータで訓練されたLLMを搭載したチャットボットを構築した。 しかし、LLMには、規模に応じた幻覚の識別、プロンプト・インジェクションによる悪用からの保護、データの不用意な開示の防止といった課題もあります。 このセッションでは、ワシントン・ポストのArc XP BusinessのCTOであるジョー・クルーニーが、彼らがどのようにチャットボットを構築し、どのようにLLMの可観測性を使用して、顧客のニーズを満たすだけでなく、倫理的かつ責任を持って使用されるようにしているかを紹介します。 このプレゼンテーションはAWSパートナーであるDatadogによって提供されます。
普段業務で使っているDatadogと最近話題のLLMというキーワードを見てセッションを受けましたが、
私には難しい内容でした
私が感じた主観の内容が多いですが、ご了承ください
本題
AIがメディアに与えるインパクトのTopテーマです
ほぼすべてと言っても過言ではありませんね
Arc XPというシステムの紹介がありました
有名なワシントン・ポストが開発をしたみたいです
概要
コンテンツ管理システム（CMS）やデジタル体験の構築、データ分析などが可能なクラウドベースのデジタル体験プラットフォーム
最初は自社のために作ったシステムですが、現在では世界のメディアに使用されています
これほどの会社が自社で成功体験をしていると、外販しやすそうですね
弊社も自社サービスがあるので、そのうちと考えてしまいます。
コンテンツ制作を加速させ、顧客体験を向上させる目的で生成AIを提供し始めたと記載があります
生成AIを活用してイノベーションを起こしている会社のセッションは数え切れないほどありました
時代の流れを感じます
ここで登場するのがLLM Observabilityです
大規模言語モデル (LLM) アプリケーションを効率的に監視、改善、保護できる機能となります
LLM Observerbilityという機能があることは知っていましたが、生成AIを扱っていないので当然使ったことはありませんでした
調べてみると日本で本格導入している企業もまだ多くなかった印象です
Arc XPはLLM Observabilityで何を評価しているのかです
- 品質: AIの出力が基準を満たしていることを保証する。
- ワークフローの効率: 生産性を向上させ、プロセスのスピードを上げる。
- コスト: AI導入を持続可能でコスト効率の良いものに保つ。
- AIの自律性: エラーや意図しない動作を防ぐためにAIを制御する。
- 人間による監視: 倫理基準を維持し、必要に応じてAIを修正する。
※そのまま和訳しています
LLMも使用するエンドユーザーがいるので、当然監視は必要だと思います
特にコストは前例も少なく、高コストなため注意しなければいけません
（LLMを監視できるSaaSは私の知っている限りではDatadogのみです）
まとめ
生成AIを普段使わないのでこのセッションはかなり難しく感じました
ですが、日本でも生成AIを導入する企業は増えています
そのため生成AIを監視、分析することは必須だと感じたので引き続きキャッチアップを続けたいと思います！
