概要

公式より

このセッションでは、Cloud Run を実行基盤として生成 AI アプリケーションを動かす方法を紹介します。生成 AI アプリケーションはフィードバック ループを含めたプラットフォームとして設計することが重要になります。本セッションでは、Vertex AI と DB の連携による RAG の設計ガイドを提供し、それを評価する方法も紹介します。

  • 01 生成AIアプリとは
  • 02 RAGの必要性
  • 03 データの取り組み
  • 04 生成AIアプリの公開
  • 05 結果の分析
  • 06 まとめ

内容

Cloud Runで構築するということで、アプリを開発後Cloud Runでデプロイすることかなと考えながら聞いていました。・・・が、
生成AIをCloud Runで使用することで分析や評価ができるという生成AIアプリケーションを作る、クオリティの高いものを作るうえで重要な内容でした！

何が従来のアプリと違うのか？

  • 従来のアプリ開発でもデータは重要だが、生成AIアプリではさらにその重要性が増している
  • 機能追加や修正のサイクルと同様に、生成 AIアプリで利用するモデルのファインチューニングや、回答を評価する仕組みを作り、継続的に改善する設計が不可欠
  • 特定の機能実装にフォーカスするよりも、データの種別を理解し、ユーザーのニーズの変化や新しい技術に対応できるよう、プラットフォームとして設計するのが良い

RAGとは？？

☆信頼できる専門性も理解した、最新かつ正確なデータを下に生成AIが回答を生成するためにRAGが必要となる。

  • 専門性がないと、VertexAIなどのAIの回答が一般的→「具体的」な回答がほしい
  • 専門性がほしいため、RAGを使用する

ではなぜCloud Run？

  • インフラの知識のないエンジニアでも容易に公開が可能

☆ここはCloud Runを使用してて感じました！インフラ構築はなかなか業務で行わないため、専門のインフラチームよりは知識が少ない・不足していると感じているのですがこれでしたらアプリエンジニアでもトラフィックを管理するのも容易ですね。

データの取り込み

生成AIアプリの公開

  • セマンティック検索：コサイン類似度→近しい情報
    業務で使えそうな計算式でした。関連する情報や類似する情報を取得するのは要望に出てくると思っているためです。

結果の分析

  • 本当にユーザーがほしい情報だったのか？作っただけで満足はできないですので重要なタスクです！！！
  • BigQueryに結果を保存
  • ジョブを実行して定期的に評価を走らせる
  • 評価プロンプト
    • 評価基準があると、判断や報告がしやすいですね。評価基準がないとどうしても人の好みが入ってしまって抽象的になってしまうので。
  • プレビューバージョンですが、LLMで評価することも可能です！

まとめ

分析やプレビューなど周辺のサービスを使用して行くことも含めてCloud Runはとても有用的！

感想

AIを使っていると評価や分析が大事だと業務で調査をしていて思います。AIで一気に問題は解決しない、プロンプト1つで問題が解決しないことを実感しているためです。
改善して、より良い生成AIを作る上で分析やフィードバックを利用して本当に「AIを利用しているエンジニア」としてアプリを作ったり提案していきたいと思います。