DX開発事業部の西田です。
2024年10月31日（木）に「AWS AI Day 〜AWS のテクノロジーで加速する生成 AI のプロダクション活用〜」が開催され、現地参加してきたのでイベントレポートを投稿します！
会場は芝公園にホテル「ザ・プリンス パークタワー東京」のコンペティションホールで、高級ホテルで行うカンファレンスはre:Inventを思い出させました。
受付を済ませるとブース展示があり、AWSの生成AIユースケースや活用支援プログラム紹介、デモアプリの展示などがありました。
展示の一つにAWSの生成AI公式テキストがありました。
また認定資格のブースではベータ版のAIF/MLA試験に合格していると、特製ステッカーがもらえました！
先日のJAWS FESTA 2024 in 広島とこのイベントでしか配られていないようなのでレアですね！
以降は視聴してきたセッションのレポートとなります。
基調講演 AWSのテクノロジーで加速する生成AIのプロダクション活用
- AWSは生成AI機能において過去18ヶ月に326の一般提供を行ってきた（2024年7月時点）
- 生成AIジャーニーの流れ
- まずは、解決したい課題とユースケースを明確にすることが重要
- 次にユースケースに合わせ最適なモデルを選択する
- 責任あるAIを考える
- 生成AI以前はAIの専門家が考えることだったが、生成AIが出てきてからはAIの利用者が増え皆が考える必要が出てきた
- 生成AIジャーニーはそれぞれのフェーズを行ったりきたりする
- それは今までのアプリより速いサイクルになる
- そのために迅速な生成AIアプリ開発をサポートする機能がある
Webサイトには載っていませんでしたがAnthropicとMetaからゲストの登壇がありました！
AWS安田様とのQAがあり、安田様自身が同時通訳しながら質疑を行っていました。
Anthropic の Frances Pye 様
日本語や文脈を効果的に理解するための取り組み
- 意外にも色々なデータを大量にいれることで個別の文化のニュアンスをClaudeは理解できる
- 日本の顧客のフィードバックにより、日本語のニュアンスやコンテキストを理解できるようになってきた
- 今後も最も優れたモデルを作り続け、より日本語を理解していく
Claude 3.5 Sonnet, Haiku をリリース
Sonnetが搭載している新しい機能、Computer Use の概要
今後 LLM はどのように進化していくと思うか
- 最近３つのリリースを行った。世界最速のClaude 3.5 Sonnet
- もう一つは最も安価なClaude 3.5 Haiku
- さらにComputer Useはコンピューターの画面を見て思考することができる
- 今後も世界でもっとも高速で信頼性のあるモデルを作る
- また複数のモデルが連携するものも作っていきたい
Meta の Hamid Shojanazeri 様
LLMをオープンソースとして提供する意義
- Metaはオープンソースでモデルを提供することに価値を感じている。
- 自分で作ることもできるしカスタマイズもできる
- 一方でトレーニング中に自社データを守れる
- OSSであることでエコシステムが広がっていく、それがスタンダードになる
- Metaにとってもそれは意味がある、皆様が作った最新のシステムにMetaもアクセスできる
- ベンダーロックインも避けれる
- Metaの歴史がオープンソースの取り組みでもある
- 最終的にオープンなAIはより安全になる
サイズを大きくする流れは続くか？
今回小さいモデルも発表しているが、その意図は？
- 過去数年にわたってモデルを大きくしてきた、それがトレンドだった
- 最近になってより特化されたユースケースを目にするようになった
- モデルが大きくなることにより、より多くのリソースも必要になる
- 実際には使用するリソースが大きくなるにつれて社会的な制限がかかるだろう
- 最近発表したモデルはリソースの上限を解決するために生まれた
- 特定のタスクにおいては大きなモデルを使う必要がない
- AIの将来は様々なモデルを使いこなして、その中で特定のユースケースに答えること
- そして新しいモデルを提供することによって新しいユースケースが生まれ新しいビジネスが生まれるだろう
AI-T2-01: コンテンツ審査を題材とした生成 AI 機能実装のベストプラクティス（Level 200）
- ECサイトへのコメント投稿をLLMを使って審査するユースケースを題材に考える
- 適切なプロダクション運用のための考慮点は多い
- どのような打ち手と考慮点があるか
- ユースケースや組織の状況においてLLM活用を棲み分ける
- 高い精度が求められるが、高度な人材がいないなら有人監視やルールベースの処理
- ラベリングできるデータが多く、データサイエンティストが存在するなら従来のMLモデルの活用
- 高度な機械学習人材はいないが今いるアプリケーションエンジニアで可能な限り自動化を試みたい場合はLLMを活用できる
- 既に従来のMLモデルで対処できていても、MLモデルをカバーする用途でLLM活用は有用
- 精度改善には評価の指標が必要
- 精度向上のためにプロンプトの原則を抑える
- タスクを分けるとデバッグもしやすい
- 利用規模が小さいときはシンプルに
- 大きくなるにつれて最適化を加えていく
- 性能とコストに大きな開きが出るため、常にモデルは最新のものを使う
- タスク分割し軽量モデルを組み合わせることもコスト最適化につながる
- バッチ推論を利用することで50%コストを削減できる
- クオータを意識したBedrockの利用
- リトライの仕組みを意識する
- AWSのSDKではリトライの仕組みが存在するが言語によって挙動が異なる
- クロスリージョン推論を利用することでリージョンをまたいでBedrockへの負荷を分散できる
- SQSなどを使った非同期処理も効果がある
- バージニアリージョンを選びがちだが日本からはオレゴンリージョンのレイテンシのほうが低い。
- レスポンス速度の改善に寄与するもの
- 無料で構築できるCloudWatchの自動ダッシュボードがある
Bedrockの非機能ノウハウが詰まった学びになるセッションでした。
生成AIは簡単に使えてしまうにもかかわらずまだノウハウが溜まっていない分、プロダクションに載せるときの考慮不足が起きがちですが、そういった点が網羅されていると感じました！
AI-T3-03: 大規模言語モデルが晒される脅威と防御策（Level 400）| 30 min
- 生成AIアプリケーションで考慮すべきセキュリティ対策とは
- 脅威の中でもプロンプトインジェクションについて
- プロンプトインジェクションとジェイルブレイクは文献によっては別れている
- プロンプトインジェクションは悪意あるプロンプトによって有害な出力をLLMにさせること
- システムプロンプトを打ち消すようなプロンプトを与えることで有害な出力を得ることができる
- Base64エンコードされた文字列を与えることで、それをLLMにデコードさせて攻撃を行う手法もある
- 典型的なプロンプトインジェクションの例
- プロンプトインジェクションを防ぐにはLLMの出力をコントロールする必要があるがとてもむずかしい
- 同じ入力に対して必ずしも同じ出力が得られるわけでない
- Bedrockのガードレール機能によって多層防御を行う
- ただし、日本語への対応などはBedrockのガードレールだけでは現時点で不十分
- Nemo Guardrailsを利用したプロキシによるガードレール
- LLM自身にインプット・アウトプットのセルフチェックを行わせる
- セルフチェックで十分でない場合、SageMaker JumpStartとLlama Guardを組み合わせたチェックが可能
これまでのアプリケーション開発では意識していなかった新しい脅威を具体例と対策交えて学ぶことができるセッションでした！
最後に
生成AIをクラウドインテグレータとしての立場で利用する我々は、活用のための事例やユースケースを知ることも大事ですが、どのようにインテグレーションするかという面において知識を身につけておく必要があると改めて感じました。
このイベントで学んだことをアイレットでのDX開発に活かしていきたいと思います！
