【AWS re:Invent 2024】DX開発事業部 presents 週刊生成AIニュース特別号 AWS re:Invent 2024アップデート大特集

アイレット株式会社 DX開発事業部の前野です！
DX開発事業部ではお客様のDX実現のために、生成AIのキャッチアップに日々取り組んでおります🔥
週刊でお届けしている生成AIニュースですが、本記事では特別号として、2024年12月2日から12月6日の間に開催された AWS re:Invent 2024で発表された、AWSの生成AIサービスに関するアップデートに関してまとめております！

以下では、生成AIサービスのレイヤー別で、アップデートについてご紹介いたします。
※レイヤーについてはAWS の主要な AI/ML サービスをグラレコで解説を参考にさせていただき、分類をしています。

AIサービス（Amazon Kendra、Amazon Connect、Amazon Q）

Amazon Kendra

GenAI Indexの発表

Amazon Kendraに新機能「GenAI Index」が追加され、大規模データセットからの高度な情報検索が可能になりました。生成型AIを活用し、インテリジェントな検索機能を提供します。検索の精度とスピードが向上し、業務効率化を支援することが期待されます。
Amazon Bedrock Knowledge BaseやAmazon Q Businessなど、他AIサービスとの組み合わせもできるようです。
AWS サービスを使ったRAGシステムを作る場合、選択肢となるAmazon Kendraは、検索精度を高める上で非常に重要な役割を担っています。そういった観点でも今回のアップデートは非常に興味深いですね。

Amazon Connect

Salesforce Contact Center with Amazon Connectのプレビューの発表

Amazon Connectと、Salesforce Contact Centerとの統合が発表されました。このプレビュー版では、Amazon ConnectがSalesforce CRMと連携し、顧客データを活用したパーソナライズされたサービスを提供します。これにより、オペレーターは顧客の背景情報をリアルタイムで参照しながら応対できるようになります。

会話型AIボットを作成できる機能の発表

会話型AIボットの構築を簡素化するノーコードツールが追加されました。このツールを使用し、Amazon Lexと組み合わせれば、非技術者でもドラッグ＆ドロップ操作だけで高度なAIボットを作成できます。これにより、カスタマーサポートや内部プロセスの自動化が加速し、効率化とコスト削減に貢献します。

Amazon Q

Amazon Q in QuickSight の新しいシナリオ分析機能がプレビュー版として登場

Amazon QuickSightのAmazon Qで、新たにシナリオ分析機能がプレビュー版で利用可能になりました。この機能はAIを活用したデータ分析で、意思決定を迅速化します。自然言語で質問や目標を入力すると、Amazon Qが分析手順をガイドし、分析的アプローチの提案、データの自動分析、関連する洞察の提示、推奨アクション付きの結果要約を行います。スプレッドシートよりも最大10倍速く複雑なシナリオ分析を実行でき、専門知識がなくても解決策を見つけられます。分析キャンバス上でデータと直接やり取りし、分析ステップを調整したり、複数の分析パスを並行して検討できます。どのQuickSightダッシュボードからでもアクセスでき、データの視覚化からソリューションのモデリングまでシームレスに移行できます。以前の分析を簡単に変更、拡張、再利用できるため、変化するビジネスニーズに迅速に対応できます。

Amazon Q DeveloperがSageMaker Canvasで利用可能に

Amazon Q Developer が Amazon SageMaker Canvas に登場し自然言語を使って ML モデルを構築できるようになりました。ユーザーはデータ準備からモデルのデプロイまでの ML ライフサイクル全体を通じて生成 AI による支援を受けられます。これにより全てのスキルレベルのユーザーが高品質な ML モデルを迅速に構築し、イノベーションと市場投入までの時間を短縮できます。SageMaker Canvas で生成されたモデルは本番環境に対応しており、SageMaker Studio に登録できるほか、データサイエンティストとコードを共有することも可能です。

MLサービス（Amazon Bedrock、Amazon SageMaker、Amazon Opensearch Service）

Amazon Bedrock

新しい基盤モデル Amazon Novaの発表

Amazonが新しい基盤モデルAmazon Novaを発表しました。Amazon Bedrockで独占提供され、最先端のインテリジェンスと業界最高レベルの価格性能比を実現しています。テキスト、画像、動画を処理できる理解モデルと、画像や動画を生成する創造的コンテンツ生成モデルがあり、様々な生成AIタスクのコストとレイテンシーを削減できます。Amazon Novaは、テキスト、画像、動画によるカスタマイズが可能で、特定のユースケースに合わせて最適化できます。責任あるAI利用のため、安全機能やコンテンツモデレーション機能、透かし機能も組み込まれています。

RAG（Retrieval-Augmented Generation）アプリケーション向けのRerank APIがサポート開始

Amazon Bedrock が Rerank API をサポートし、Retrieval-Augmented Generation (RAG) アプリケーションの応答の関連性を向上させることが可能になりました。Reranker モデルは、ユーザーのクエリに基づいて取得したドキュメントをランク付けし、最も関連性の高い情報を生成モデルに渡すことで、ユーザーの意図を正確に反映した応答を生成します。

Amazon Bedrock Knowledge Bases、RetrieveAndGenerateStream APIのサポートを開始

Amazon Bedrock Knowledge BasesがRetrieveAndGenerateStream APIをサポートし、生成される応答をストリーミング形式で受け取れるようになりました。この新機能により、ユーザーは応答を待つことなく、低遅延でシームレスな体験を得ることができます。RAGワークフローを活用し、企業のデータソースからのコンテキスト情報を組み込むことで、より正確でカスタマイズされたGenAIアプリケーションの構築が可能になります。

Amazon Bedrock Knowledge BasesにおけるRAG評価をサポートする機能の発表

Amazon Bedrock Knowledge BasesはRAG評価をサポートする機能を発表しました。この機能により、情報検索やコンテンツ生成を含むアプリケーションを評価することが可能になります。評価はLLM-as-a-Judge技術によって行われ、複数の評価モデルが利用できます。RAGアプリケーションの評価は複雑ですが、Amazon Bedrockの評価ツールを使用することで、迅速かつ効率的に行うことができます。このツールを利用することで、コスト削減や評価にかかる時間の短縮が可能です。
RAGの精度評価を定量的な指標で評価できるようなツールの登場で、より正確に、検索システムの評価ができるようになることが期待できますね。

Amazon Bedrock Knowledge Bases、自然言語クエリによる構造化データの取得のサポート開始

Amazon Bedrock Knowledge Basesは自然言語クエリによる構造化データの取得をサポートし、カスタム生成AIアプリケーションの構築を容易にします。この機能により、ユーザーは自然言語の質問をSQLクエリに変換し、データソースから直接データを取得できます。これにより、開発者は複雑なデータベーススキーマに基づくクエリ変換の課題を克服し、データガバナンスとセキュリティ管理を簡素化できます。

Amazon Bedrock Knowledge Bases、カスタムコネクタとストリーミングデータの取り込みをサポート開始

Amazon Bedrock Knowledge Basesはカスタムコネクタとストリーミングデータの取り込みをサポートし、開発者はAPIを通じて知識ベースのデータを追加、更新、削除できるようになりました。この機能により特定のドキュメントを簡単に取り込むことができ、レイテンシと運用コストの削減が可能です。例えば金融サービス企業は最新の市場データを常に更新し、GenAIアプリケーションが最も関連性の高い情報を提供できるようになります。

レイテンシ最適化推論がパブリックプレビューで利用可能に

Amazon Bedrockの基盤モデル向けレイテンシ最適化推論がパブリックプレビューで利用可能になりました。AnthropicのClaude 3.5 HaikuモデルとMetaのLlama 3.1 405Bおよび70Bモデルをサポートし、標準モデルと比較してレイテンシを削減します。AWS Trainium2などのAIチップとAmazon Bedrockのソフトウェア最適化により、リアルタイムの顧客サービスチャットボットやインタラクティブなコーディングアシスタントなどのレイテンシの影響を受けやすいアプリケーションのエンドユーザーエクスペリエンスを最適化できます。追加の設定やモデルの微調整は不要で、既存のアプリケーションをすぐに強化できます。

Amazon Bedrock Knowledge Bases、新たに GraphRAG をサポート開始

Amazon Bedrock Knowledge Bases が新たに GraphRAG をサポートし、Generative AI アプリケーションの応答をより包括的で関連性の高いものにすることを発表しました。GraphRAG は RAG 技術とグラフデータを組み合わせ、企業のデータソースからの文脈情報を取り入れることで、正確で低遅延のカスタム Generative AI アプリケーションを構築します。ユーザーは旅行アプリで家族向けのビーチの目的地を尋ねることができ、開発者は数回のクリックで GraphRAG を有効にできます。Amazon Neptune Analytics と統合され、追加の設定や料金は不要です。

Amazon Bedrock Model Distillationのプレビューが発表

Amazon Bedrock Model Distillation プレビュー公開により、ユーザーはより小さく、高速で、費用対効果の高いモデルを使用できるようになりました。これらのモデルは、Amazon Bedrockの最も高性能なモデルに匹敵するユースケース固有の精度を提供します。従来、小規模で費用対効果の高いモデルを微調整して精度を高めるには、プロンプトとレスポンスの作成、トレーニングデータセットの改良、多様な例の確保、トレーニングパラメータの調整など、反復的なプロセスが必要でした。Amazon Bedrock Model Distillationは、教師モデルから合成データを生成し、生徒モデルをトレーニングおよび評価し、最終的に蒸留モデルを推論用にホストするために必要なプロセスを自動化します。反復作業の負担を軽減するために、Model Distillationはユースケースに最適なさまざまなデータ合成手法を適用し、特定のユースケースについて高度なモデルとほぼ一致する蒸留モデルを作成します。たとえば、Bedrockは、類似のプロンプトを生成することでトレーニングデータセットを拡張したり、顧客から提供されたプロンプトとレスポンスのペアを黄金の例として使用して高品質の合成レスポンスを生成したりできます。

Amazon Bedrock がプロンプトキャッシング機能のプレビューを発表

Amazon Bedrock がプロンプトキャッシングのプレビューを発表しました。この機能により、サポートされているモデルのコストを最大90%、レイテンシを最大85%削減できます。プロンプトキャッシングは、頻繁に使用されるプロンプトを複数のAPI呼び出し間でキャッシュすることで、モデルの応答をガイドする長いシステムプロンプトや一般的な例などのコンテキストの再処理を回避します。キャッシュを使用すると、出力を生成するために必要なコンピューティングリソースが少なくなり、リクエストの処理速度が向上するだけでなく、リソース使用量の削減によるコスト削減も実現できます。
本機能はClaude 3.5 Haiku、Claude 3.5 Sonnet v2モデル、加えて
re:Invent中に新しく発表されたNova Micro、Nova Lite、Nova Pro モデルで利用可能です。

Amazon Bedrock Guardrails、画像コンテンツのマルチモーダル毒性検出をサポート開始

Amazon Bedrock Guardrailsは、画像コンテンツのマルチモーダル毒性検出をサポートするようになりました。この新機能により、お客様は画像データにコンテンツフィルターを適用し、不適切または有害なコンテンツを検出してフィルタリングできます。これは、ヘルスケア、製造、金融サービス、メディアと広告、輸送、マーケティング、教育など、さまざまな業界分野にわたる幅広いユースケースで、生成AIアプリケーションを責任を持って構築および拡張するのに役立ちます。この機能は、Amazon Bedrock上の画像をサポートするすべての基盤モデルで利用でき、微調整された基盤モデルも含まれます。

Amazon Bedrock Marketplaceの発表

Amazon Bedrock Marketplaceが発表されました。これは、Amazon Bedrockの既存モデルに加えて、100種類以上の公開および独自の基盤モデル（FM）にアクセスできるサービスです。開発者は、希望するインスタンス数と種類を選択して、SageMakerエンドポイントにモデルをデプロイできます。Amazon Bedrock Marketplaceのモデルは、Bedrockの統一APIを介してアクセスでき、BedrockのConverse APIと互換性のあるモデルは、Agents、Knowledge Bases、GuardrailsなどのAmazon Bedrockツールで使用できます。これにより、多様なFMを迅速にテスト・統合できるようになり、市場投入までの時間短縮、精度の向上、生成AIワークフローのコスト削減に役立ちます。
東京リージョンでも使用できるようです。

Amazon Bedrock Intelligent Prompt Routingがプレビューで利用可能に

Amazon Bedrock Intelligent Prompt Routingがプレビューで利用可能になりました。この機能は異なる基盤モデルにプロンプトをルーティングし、レスポンスの質とコストを最適化します。高度なプロンプトマッチングとモデル理解技術を使用して、各リクエストに対して最も望ましいレスポンスを提供するモデルを動的に選択してくれます。顧客はClaude Sonnet 3.5とClaude Haiku、またはLlama 3.1 8BとLlama 3.1 70Bの間でリクエストをルーティングする2つのプロンプトルーターを選択できます。

マルチエージェントコラボレーション機能の発表

Amazon Bedrockのマルチエージェントコラボレーション機能がプレビューリリースされました。この機能により、複数のAIエージェントを構築、展開、管理し、連携させて複雑なタスクを処理できます。スーパーバイザーエージェントがタスクを分割し、専門のサブエージェントに委任、結果を統合することで、効率的な処理を実現します。設定が容易で、既存のエージェントの統合も可能です。2つのコラボレーションモードがあり、トレースとデバッグコンソールも統合されています。

Amazon Bedrock GuardrailsにAutomated Reasoning checks（プレビュー）が追加

Amazon Bedrock Guardrails に新たに追加された Automated Reasoning checks は、生成された回答の正確性を数学的に検証し、事実誤認を防ぐための安全策です。この機能は、生成 AI アプリケーションにおいてコンテンツの安全性やプライバシーを強化し、組織のルールを構造化された数学的な形式でポリシーとして定義することができます。Automated Reasoning checks は、特に事実の正確性や説明責任が重要な使用ケースにおいて有用です。

Amazon Bedrock Data Automation（プレビュー）を含む4つの機能強化の発表

※ここではAmazon Bedrock Data Automationにフォーカスしてご紹介。
Amazon Bedrock Data Automationの登場によって、インテリジェントドキュメント処理（IDP）、メディア分析、およびRetrieval-Augmented Generation（RAG）ワークフローを迅速かつコスト効率よく構築できるようになります。
簡単にいうならば、ドキュメントや、画像や音声・動画などの非構造化データを、AIに分析させ、洞察を得ることができるような機能です。
どこまで精度が高いかは未知数ですが、「紙ベースの社内資料を読み込ませて、それを書き起こしさせて既存の検索アプリケーションに統合する」、といったアプローチも可能になるのでしょうか。活用の幅が増えそうで楽しみですね。

Amazon Bedrock Model Distillation がプレビュー版で利用可能に

Amazon Bedrock Model Distillation がプレビュー版で利用可能になりました。この機能により、顧客は特定のユースケースに対して高い精度を持つ小型でコスト効率の良いモデルを使用できます。従来の手法では、顧客はプロンプトやレスポンスを作成し、トレーニングデータセットを調整する必要がありましたが、Model Distillation はこのプロセスを自動化し、教師モデルから合成データを生成し、学生モデルをトレーニング・評価し、最終的なモデルをホスティングします。これにより、特定のユースケースに合わせたモデルを効率的に作成できます。

Amazon SageMaker

Amazon SageMaker HyperPod recipesの発表

Amazon SageMaker HyperPod recipes が発表されました。これは、Llama 3.1 405B、Mixtral 8x22B、Mistral 7Bなどの一般公開されている一般的なFM（基盤モデル）のトレーニングとファインチューニングをすぐに開始できるサービスです。すぐに利用できるトレーニングスタックと、GPU ベースインスタンスと AWS Trainium ベースインスタンスを簡単に切り替えられる機能を提供します。これにより、最大40%のトレーニング時間の短縮と、数週間の実験とデバッグ作業の削減が可能になります。

Amazon SageMaker パートナー AI アプリが一般提供開始

Amazon SageMaker パートナー AI アプリの一般提供が発表されました。この新機能により、顧客は Amazon SageMaker AI から離れることなく、トップクラスの機械学習および生成 AI 開発アプリを簡単に発見、展開、利用できるようになります。これにより、データのセキュリティを保ちながら、AI モデルの開発が迅速に行えるようになります。初期のパートナーアプリには Comet、Deepchecks、Fiddler、Lakera が含まれています。

Amazon SageMaker HyperPodのタスクガバナンス機能が一般提供開始

Amazon SageMaker HyperPodのタスクガバナンス機能が一般提供開始されました。この機能により、生成AI開発タスク全体で、コンピューティングリソースの割り当ての可視化、制御、優先順位付け、制限設定が可能になり、モデル開発コストを最大40%削減できます。また、Amazon SageMaker Studioとの統合により、Studio環境内からHyperPodクラスタへのアクセスが可能になり、MLジョブの開発、送信、監視がシームレスに行えます。

Amazon SageMaker Data and AI Governanceの発表

Amazon SageMaker Data and AI Governanceが発表されました。この機能はデータとAIの発見、ガバナンス、コラボレーションを簡素化し、エンジニアやデータサイエンティストが承認されたデータとモデルを安全に検索できるようにします。生成AIによって作成されたメタデータを使用したセマンティック検索により、データの発見を加速し、アクセスポリシーの一貫した定義と強制が可能になります。モデルの監視機能により、バイアスを検出し、モデルの予測に対する特徴の寄与を報告することができます。

Amazon SageMaker Lakehouse と Amazon Redshift、 8 つのアプリケーションからのゼロ ETL 統合をサポート開始

Amazon SageMaker Lakehouse と Amazon Redshift は、Salesforce、SAP、ServiceNow、Zendesk など8つのアプリケーションからの zero-ETL 統合をサポートするようになりました。これにより、データレイクやデータウェアハウスへのデータの抽出とロードが自動化され、ETLデータパイプラインの構築が不要になります。no-code インターフェースで設定を選択するだけで、zero-ETL 統合を迅速に設定し、データレイクとデータウェアハウスのデータの最新レプリカを自動的に取り込み、継続的に維持できます。この統合により、ユーザーの運用上の負担が軽減され、データパイプラインの設計、構築、テストに必要な数週間のエンジニアリング作業が削減されます。ユーザーはアプリケーションデータからの洞察の導出、組織内のデータサイロの解消、運用効率の向上に集中できます。また、Apache Spark と Amazon Redshift を使用して、分析や機械学習のためのアプリケーションデータの高度な分析を実行できます。

生成AIモデルの推論を高速化するための、 Container Caching と Fast Model Loader機能の発表

Amazon SageMaker は新たに Container Caching と Fast Model Loader の2つの機能を導入し、生成 AI モデルのデプロイとスケーリングを大幅に強化します。これにより大規模言語モデルの効率的なスケーリングが可能になり、トラフィックの急増に対する応答時間が短縮され、コスト効率も向上します。Container Caching はコンテナイメージを事前キャッシュすることでスケーリング時間を大幅に削減し、Fast Model Loader は Amazon S3 からモデルの重みを直接ストリーミングして高速にロードします。これにより、動的なトラフィックパターンを持つサービスに特に恩恵をもたらします。

Amazon Opensearch Service

Amazon Security Lake とのゼロ ETL 統合を提供開始

Amazon Security Lake との zero-ETL 統合により、OpenSearch を介してセキュリティデータを直接クエリおよび分析できます。この統合により、以前は分析コストが高かった大量のデータソースを効率的に探索し、セキュリティ調査を合理化し、セキュリティ状況を包括的に把握できます。データを選択的に取り込む柔軟性を提供し、複雑なデータパイプラインを管理する必要がないため、分析コストを削減しながら効果的なセキュリティ運用に集中できます。

今回のre:Inventでも多数のアップデートが発表されました。特に、Amazon Bedrock 関連のアップデートが多かったような印象でした。
今回のアップデートで、ますますAWSにおける生成AI系のサービスの活用が期待できそうですね。
新機能をただ「試す」にとどまらずお客様の業務でどのように活用できるか、の観点で今後もニュースをキャッチアップしていければと思います。