はじめに
Global Solutions事業部の緒方です。
AWS re:Invent 2024に現地で参加しています。
今回は[AIM272-SC1 | 7 principles for effective and cost-efficient generative AI apps]に参加しましたので内容を紹介します。
AWS re:Invent 2024とは
AWSが主催する年次カンファレンスで、主にクラウドコンピューティングに関する最新情報を発表し、エンジニアに限らず様々なロールの人や様々な業種の企業が集う大規模イベントです。2024年は12月2日から12月6日にかけて、アメリカ・ラスベガスで開催されます。
セッション
セッション概要
gen AI が普及するにつれ、効果的でコスト効率の高いソリューションを構築することが最も重要になってきます。このセッションでは、効果的でコスト効率の高い gen AI アプリケーションを構築するための 7 つの基本原則について説明します。これらの原則は、企業や開発者がリソースを最適化しながら gen AI の可能性を活用するのに役立ちます。目標の設定、品質データのキュレーション、アーキテクチャの最適化、パフォーマンスの監視、倫理の維持、反復が重要です。これらの原則により、組織は責任あるイノベーションを推進する影響力のある gen AI アプリケーションを開発できます。このセッションに参加して、大手コンタクトセンターソリューションプロバイダーの ASAPP が、Amazon Bedrock を使用して gen AI を活用したイノベーションをソフトウェアに追加するために使用した原則について説明します。
Priya Viayarajendran, Chief Executive Officer, ASAPP
Mark Relph, Director – GenAI GTM – Bedrock, Amazon Web Services
セッション内容
ジェネレーティブAI（Gen AI）が企業に与える影響と、それに対する組織の取り組みについて説明がありました。
企業の2つの立場を探検家と海賊で表していました。探検家は組織が積極的にGen AIを導入・活用しようとする人々のことで、海賊はルールを無視して勝手にGen AIを使い始める人々のことです。組織にルールが制定される前に流行に敏感な人が色々試しているアレのことですね。AI利用が法的、IP、データ漏洩、コストの観点でリスクがある可能性があると話していました（知的財産（IP）の侵害や契約違反、機密情報の漏洩、ツールの利用が高額に）。
一般的な課題としていくつか挙げられていました。
Death by proof-of-conceptという言葉がでていました。「概念実証による死」と直訳して、ここで言及されていたJEDIプロジェクトについて何かわからなくて調べてみました。公的なITリソースのクラウド移行の話があったのですが、いろいろな問題があって計画段階で頓挫したことがあったそうです（理由は情報が不確かなので書きません）。
またROI（投資収益率）などの、どのくらい投資に見合った効果があるのかを説明することにも苦労があるようです。導入事例が多くない中で、前例として挙げることは難しいですよね。。
その他にもデータ、規模、セキュリティ、IPの課題、ユーザーの再トレーニング、チームの再トレーニングのコストなど、どのように評価するかも課題と言っていました。
ここでAIの急成長によるユーザが直面している課題として、複雑なプロンプトのフロー(昔の簡易的なプロンプトと比較して)、タスク特化(トレードオフが発生)、AIの組み合わせ、AIの自立、が挙げられていました。
その課題から、成功する生成AI プロジェクトの 7 つの原則を考えたそうです。すごいですね。
まずセキュリティの側面ですね。ここで頓挫することは多いような気がします。旧態依然の体質とかでしたら、この時点で採用はアウトになる気がします。ここでBedrockが例として挙げられていました。
AWSでは、モデルである LLM がセキュリティ境界内の AWS インフラストラクチャで実行されているため、データが第三者に渡ることはないそうで、将来のモデルのトレーニングにも使用しないそうです。AWS内で完結するというお墨付きがありましたので、安心できますよね。 
小さなことから始めてと言ってました。よくスモールスタートとかスモールステップとか聞きますよね。
AIの進化が速いので、早く使い出すことが大事みたいです。かの著名人が残した言葉「みくびるな、家電の進歩と孫の成長」を思い出しました。
AIの能力はデータの精度であると言っていました。
生成AI におけるデータは氷山に見えるそうです。見えている部分以上にデータが重視されているという感じでした。
速度と規模の一致、です。ゴーカートの後ろにジェットエンジンが取り付けられている、という例えをしていました。確かに速度とスケールは一致してないですね。必要な結果の規模でAIも使用しないとジェットゴーカートになるということですね。ただジェットエンジンの使用は大変なのでAWSのマネージドサービスを使ってください、ということでした。もちろん、自分で調整できればマネージドでなくてもいいと思いますが、スモールステップで始めるには使用したほうがいいですよね。
KPIを事前に明確に設定することが重要と言っていました。測定すべき要素としてはレスポンスタイム、精度、遅延など一例として挙げられていました。ユーザーからのフィードバックもいいそうです。
また処理時間などのベースラインを設定してROI示すことも有用だそうです。あと、Bedrockがモデルの評価に便利だよって言ってました。
ということで、事前に指標を正しく設定することが大切なようです。特にROIで効果を示せることはAIへの投資には要になってきますよね。
AI導入には、技術だけでなく人材の成長と組織文化の変革が必要であると述べていました。それにはボトムアップだと進むと時間がかかるため、経営陣の後押しも重要とのことでした。クラウド移行やサーバーレスの採用時に同じような課題があったそうです。アメリカでも新しいものを採用する際は、腰が重いのは少し似ていますね。
また、多分野の専門家で構成されたチームが必要と言っていました。DevOps、データサイエンティスト、法務などの専門家の協力が大切だそうです。
データやアウトプットしように関しては法律が絡む場合があるので納得ですね。
信頼を得るには、バイアス検出、プライバシー保護、精度、パフォーマンスの一貫性が重要と述べていました。確かに使うたびに変わっていたら、キーマンへの説得は難しくなりますよね。
Bedrockを活用して、応答の評価や不適切な使用の防止、規制対応をサポートできるそうです。また外部サービスと連携も大切だそうです。
Bedrockの使用によりトレーサビリティの確保ができ、これが肝要です。
ASAPPという会社の事例の紹介がありました。
ASAPPは、コンタクトセンター向けのソリューションに生成AIを使用しているそうです。
提供している機能は、通話記録の自動要約、会話応答の自動生成でした。
また、セキュリティ面では、ハラスメントの検知を実装しているそうです。また、 完全に自動化するのではなく、人間による監視・介入機能を組み込んだそうです。AIと人間の協力したソリューションとなっていて、キーマンへの説明もし易い印象を受けました。
さいごに
生成AIの導入と活用にはまだ多くの課題があるようです。これらを乗り越えるにはエンジニアだけではなくみんなで協力していく体制を作って、バンバン活用していきたいですね。
 |
2024年12月19日(木)18時より、「AWS re:Invent 2024」のポイントを解説する「AWS re:Invent 2024 re:Cap presented by iret」を開催します。 |
