セッション概要

  • 生成AIを本番環境に繋いでサービスとして稼働していくにはどうするのか
  • 既存のAIを使用した環境は、生成AI用に新たに作らなくて良い

生成AIを使用して本番サービスをリリースしている企業・会社は少ないのかな、と会場の挙手の数で感じました。

セッション内容

  • 現在→生成AIを本番環境に繋いでいく経験が少ない

1. MLOpsとは

  • 通常のアプリと違う
    • 変化するデータに対応して行かなければならない
  • AIの評価と監視までも必要
  • エンタープライズデータ
    • 生成AI特有
  • VertexAI
    • 生成AIにも対応

 

2. 生成AI時代のMLOps

  • 従来〜生成AIによって何が変わる？？→ディスカバリ（実験）とプロンプト（予測）
  • Googleソリューション
  • Vertex AI Model Garden, Generative AI Studio　※生成AIに特化したもの

  • チューニング（トレーニング）→蒸留（デプロイ）
  • 人間のフィードバックからの強化学習

 

3. Google Cloudの生成AI評価サービス

  • Googleは安全なAIとして著作権のチェック等を行っている
  • 評価サービス
    • 評価のデモ　→　パイプラインが生成される
  • AutoSideBySide　A/Bテスト　→　モデルの評価をするパイプライン

4.まとめ

  • 既存の環境などは生成AI用に捨てなくて良い
  • VertexAIは予測と生成のどちらにも使用可能
 

感想

生成AIに関してのサービスを本番リリースの数は少ない、サービスとして売り出すのは難しいのかも知れないとは思いました。ですが、今回のセミナーの内容をもとにサービスを活用していけば難しくないのではないのかと、安易な感想ですが思いました。