はじめに
こんにちは、生活リズムがはちゃめちゃになってしまったヤマダです。
現在ラスベガスで開催されているAWS re:Invent 2024にて、今年もBedrockのアップデートが大量にきていたので「アイレットメディアにもまとめがあってもいいじゃない！」という気持ちでまとめていきます。
忙しい人のためのまとめ
- RAGを強化する新しいAPIが利用可能に
- カスタムコネクタとストリーミングデータの取り込みをサポート
- 再ランク付けモデルをサポート
- RAG評価とLLM-as-a-judge機能
- Amazon Bedrock Knowledge BasesがRAG評価をサポート
- Amazon Bedrockのモデル評価にLLM-as-a-judge機能が追加
- Amazon Bedrock Model Distillationで、より速く、コスト効率よく、高精度のモデルを構築する
- 数学的に正しい自動推論チェックで、LLMの幻覚による事実誤認を防ぐ
- Amazon Bedrockのマルチエージェント・コラボレーション機能の紹介
- Amazon Nova ファンデーションモデルのご紹介： フロンティア・インテリジェンスと業界をリードする価格性能
- Amazon Bedrock Marketplace： 100以上のファンデーションモデルに一度にアクセス
- Amazon BedrockのIntelligent Prompt Routingとprompt cachingでコストとレイテンシーを削減
- Amazon Bedrock Intelligent Prompt Routing
- Amazon Bedrock prompt caching
- Amazon Bedrockの新機能がデータ処理と検索を強化
- Amazon Bedrock Data Automation
- Amazon Bedrock ナレッジベースがマルチモーダルデータを処理
- Amazon Bedrock ナレッジベースが GraphRAG (プレビュー) をサポートするようになりました
- Amazon Bedrock ナレッジベースが構造化データ取得をサポートするようになりました
- Amazon Bedrock Data Automationを試してみる
- Amazon Bedrock Guardrailsが画像サポートによるマルチモーダル毒性検出をサポート
全体的な感想：アップデート多い
Amazon Bedrockアップデートまとめ
RAGを強化する新しいAPIが利用可能に
Amazon Bedrock Knowledge Basesにて以下2点が発表されました。
- Support for custom connectors and ingestion of streaming data.
（カスタムコネクタとストリーミングデータの取り込みをサポート） - Support for reranking models.
（再ランク付けモデルをサポート）
カスタムコネクタとストリーミングデータの取り込みをサポート
Amazon Bedrock Knowledge Basesにて、データソースとの同期を定期的に実行する必要がなくなり、API呼び出しを使用して効率よくデータの直接取り込み・更新・削除が可能になりました。
再ランク付けモデルをサポート
新しくRerank APIが発表されました。再ランク付けモデルを使用し、応答の関連性と精度を改善してRAGアプリケーションのパフォーマンスを向上させることができます。
RAG評価とLLM-as-a-judge機能
テストの効率化と生成AIアプリケーションの改善に役立つ2つの新しい評価機能が発表されました。
- Amazon Bedrock Knowledge Bases now supports RAG evaluation (preview)
（Amazon Bedrock Knowledge BasesがRAG評価をサポート） - Amazon Bedrock Model Evaluation now includes LLM-as-a-judge (preview)
（Amazon Bedrockのモデル評価にLLM-as-a-judge機能が追加）
Amazon Bedrock Knowledge BasesがRAG評価をサポート
RAG評価を使用すると自動でナレッジベース評価を実行し、RAGアプリケーションの評価と最適化をすることができます。現時点では東京リージョンではプレビューとして利用できず、いくつかのリージョンでのみ利用可能です。
バージニア北部で実際に見てみます。
Bedrockのコンソール画面で、「Inference and Assessment」にある「Evaluations」に移動します。画面上の「Knowledge Bases」タブにてRAG評価を作成可能です。
一応作成も試そうと思ったのですが、RAGアプリケーションがないので試せず…。RAGを作成したら評価して追記したいと思います。
取得機能のみか完全なワークフローも含めたいずれかを評価できるようです。記事では評価のメトリクスが合計で12個表示されていましたが、私の手元では品質の2つのみでした。
また、RAG評価は単体では解釈が難しいため、複数の評価結果を比較する機能もあります。スコアが視覚的に表現されており、比較結果の確認が容易に行えるようです！
Amazon Bedrockのモデル評価にLLM-as-a-judge機能が追加
人間による評価よりも低コスト&短時間で人間並の品質でテストを実行し、モデルを評価できます。評価フェーズの工数が短縮されることで、より迅速に実稼働へと移行できるようになります。さらに評価結果では自然言語による説明も提供され、0~1に正規化されたスコアで定量的に評価されるようです。
数値で表してくれると判断や比較もしやすくてとても助かりそうです。また、評価基準はドキュメントにて公開されているので透明性も確保されていると言えそうです。
Amazon Bedrock Model Distillationで、より速く、コスト効率よく、高精度のモデルを構築する
教師モデルと呼ばれる大規模な基盤モデル(FM) から応答を生成し、生成された応答を使用して学生モデルと呼ばれる小規模な FM を微調整することで、特定のユースケース向けの蒸留モデルを作成するプロセスを自動化します。データ合成技術を使用して、教師モデルからの応答を改善します。その後、Amazon Bedrock は推論用の最終的な蒸留モデルをホストし、ユースケースに合わせて、教師モデルに近い精度で、より高速でコスト効率の高いモデルを提供します。
ちょっと難しい内容だったので要約せずに翻訳した内容をそのまま持ってきました。
こちらもコンソールでちょこっと覗いてみます。
Bedrockのコンソール画面で、「基盤モデル」にある「カスタムモデル」に移動します。画面上の「Distillation」にてジョブを作成可能です。
数学的に正しい自動推論チェックで、LLMの幻覚による事実誤認を防ぐ
Amazon Bedrock Guardrailsに新しいセーフガードとして自動推論チェックが追加されました。LLMによって生成された応答の精度を数学的に検証してハルシネーション(幻覚)を防ぐことに役立ちます。現時点ではオレゴンリージョンのみのプレビューとあったのですが、マネジメントコンソールのAmazon Bedrock Guardrailsに表示されていませんでした。
Amazon Bedrockのマルチエージェント・コラボレーション機能の紹介
マルチエージェントコラボレーション機能が発表されました。専門的なスキルを必要とする複雑な複数ステップのタスクで連携して動作する複数の AI エージェントを構築、デプロイ、管理できます。
この機能はAWS GovCloud（米国西部）を除く、Amazon Bedrockエージェントをサポートする全てのリージョンでプレビュー使用が可能です。全然関係ないのですが、AWS GovCloudリージョンを初めてみてナニコレとなりました。こういうリージョンもあったんですね🤔
Amazon Nova ファンデーションモデルのご紹介： フロンティア・インテリジェンスと業界をリードする価格性能
Amazon Bedrockにて最先端の基盤モデル(FM)の新世代であるAmazon Novaが利用可能になりました。テキストはもちろん、画像やビデオの生成にも対応した様々なモデルが登場しています。私は初代生成AI画像大喜利チャンピオンなのですが、画像生成のAmazon Nova Canvasは素直で非常に触りやすい印象でした。
以下に登場モデルを簡単にまとめます。
- Amazon Nova Micro（テキストのみ）
- Amazon Nova Lite（マルチモーダル）
- Amazon Nova Pro（マルチモーダル）
- Amazon Nova Premier（マルチモーダル）
- Amazon Nova Canvas（画像生成）
- Amazon Nova Reel（動画生成）
テキストモデルにはそれぞれに特徴があり、要件によって使い分けることで良さを引き出せそうです。私はNova Liteを少し試しましたが、レスポンスの速さと日本語の精度に驚きました。何かとClaudeを選びがちでしたが、今後はNovaを候補に入れてしっかり考えていきたいです。また、Nova Reelは現時点では6秒の動画生成となりますが、今後長尺の動画にも対応していくようです。
Novaファミリーはバージニア北部等で試せるのでぜひスピード感や精度などを楽しんでください。私が生成したc3(cute crab club anime)の画像を置いておきます。
Amazon Bedrock Marketplace： 100以上のファンデーションモデルに一度にアクセス
Amazon Bedrock Marketplaceが発表されました。100を超える基盤モデル(FM)にアクセスでき、エンタープライズプロバイダーのモデルなどを含む多くの汎用FMを使用できるようになります。マーケットプレイスでデプロイされたモデルには、Bedrockの標準APIを介してアクセスができるらしくモデルの幅が一気に広がりそうです。
Marketplace deploymentsとModel catalogはすでにいくつかのリージョンで利用可能です。Model catalogからモデルを検索し、価格や使用について詳細を確認します。モデルをデプロイするとMarketplace deploymentsページで確認できるようになり、そこからはプレイグラウンド等で使用が可能となります。
Amazon BedrockのIntelligent Prompt Routingとprompt cachingでコストとレイテンシーを削減
生成AIアプリケーションのコストとレイテンシーを削減するのに役立つ2つの機能がプレビューとして導入されました。
Amazon Bedrock Intelligent Prompt Routing
モデル呼び出し時に同じファミリーの基盤モデル(FM)を組み合わせて使用し、品質とコストによってルーティングをしてくれる機能です。Amazon Bedrockがプロンプトの複雑さによって使用するモデルを自動で振り分けてくれます。
プレビュー期間中はデフォルトのプロンプトルーターが使用可能です。少し試してみましたが、Claude 3.5 SonnetとClaude 3 Haikuで振り分けられてました。割とすぐにSonnetが出てくる印象で、Haikuは計算や「褒めて」とお願いした時に出てきていました。使用されたモデルは回答の右にあるグラフのようなマークから確認可能です。
Amazon Bedrock prompt caching
複数のモデル呼び出しにわたってプロンプトで頻繁に使用されるコンテキストをキャッシュできるようになりました。キャッシュはアクセス後最大5分間利用でき、コストを最大90%、レイテンシーを最大85%削減可能です。プロンプトキャッシュはAmazon Bedrock Converse APIで使用できます。
呼び出し完了までの時間の短縮や、レイテンシが改善されることでユーザの体験の向上に繋がりそうですね！プロンプトキャッシュのプレビューはオレゴンリージョンのClaude 3.5 Sonnet およびClaude 3.5 Haikuで利用可能です。また、バージニア北部の一部のNovaファミリーでも試せるみたいです。
Amazon Bedrockの新機能がデータ処理と検索を強化
生成AIによるデータ分析を効率化する4つの機能強化が導入されました。
Amazon Bedrock Data Automation
Amazon Bedrock Data Automationがプレビューで使用可能になりました。様々な非構造化コンテンツから価値のある洞察を効率よく生成するフルマネージド機能です。使用すると自動化されたインテリジェントドキュメント処理、メディア分析、RAGワークフローを迅速かつコスト効率よく構築することができます。
洞察には、重要な瞬間のビデオ要約や不適切な画像の検出が含まれており、様々な場面での活用ができそうです。
Amazon Bedrock ナレッジベースがマルチモーダルデータを処理
ドキュメントや画像内のテキストと視覚要素の両方を処理するアプリケーションを構築するために、Amazon Bedrock Data Automation を使用するか、パーサーとして基盤モデル(FM)を使用してドキュメントを解析するようにナレッジベースを設定できます。マルチモーダル処理により、応答速度の精度と関連性が向上するという嬉しいアップデートです。
Amazon Bedrock ナレッジベースが GraphRAG (プレビュー) をサポートするようになりました
フルマネージド型の初の GraphRAG 機能の 1 つが提供されるようになりました。GraphRAG は、グラフと組み合わせた RAG 技術を使用して、エンドユーザーに対してより正確で包括的な応答を提供することで、生成 AI アプリケーションを強化します。
Amazon Bedrock ナレッジベースが構造化データ取得をサポートするようになりました
ナレッジベースが拡張され、データウェアハウスとデータレイクの自然言語クエリがサポートされるようになりました。会話型インターフェイスを通じてビジネスインテリジェンス(BI)にアクセスし、重要なエンタープライズデータを含めることで応答の精度を向上させることができます。Amazon Bedrock ナレッジベースは、構造化データをネイティブにクエリできる、初めてのフルマネージドですぐに使用できる RAG ソリューションの 1 つを提供します。生成AIアプリケーションの構築期間の短縮に繋がります。
Amazon Bedrock Data Automationを試してみる
サンプルでデモを実施できそうだったのでやってみます。
「サンプルデモを使う」を選択し、なんとなく「請求書」を選んで作成してみます。
すぐに作成されました。はやっ！
内容を確認しましたが、問題なく抽出されていました。プレビューですが、自前でデータを準備せずに機能に触れられるのはありがたいです。
Resultsのデータの表記も整理されていて見やすかったです。
Amazon Bedrock Guardrailsが画像サポートによるマルチモーダル毒性検出をサポート
Amazon Bedrock Guardrailsでの画像サポートによるマルチモーダル毒性検出のプレビューが発表されました。テキストに加えて画像コンテンツでも望ましくないコンテンツを除外できます。ユーザー体験を向上させ、モデル出力管理にも役立ちます。
Guardrailsでフィルタリングできるコンテンツが増えることで、アプリケーション側での管理が楽になっていくと思うので嬉しい内容です。憎悪、侮辱、性的、暴力などのカテゴリにわたって有害な画像コンテンツを検出してブロックできるようになり、閾値も細かく設定できるようです。
実際の画面では上記のような形で機能のプレビューが追加されています。見た感じではTextとImageで個別にStrengthを設定することはできなさそうですね。
最後に
まとめておきながら分からない機能もまだまだたくさんあるなと感じています。アップデートが他にもあれば、可能な限り手で触った上での感想も含めつつ記事をメンテナンスしていきます！
