はじめに

この蚘事はGoogle Cloud Next Tokyo 2025で公開されたセッション
「最新の生成 AI モデルぞのアップデヌトに必芁な LLMOps」に぀いおのセッションメモです。誀りなどがありたしたら随時、修正しおいく予定です。

以䞋のセッションレポヌトでも本セッションの内容を玹介しおいたす。

【Google Cloud Next Tokyo 2025】生成AIアプリの粟床劣化にサペナラGoogle CloudのLLMOpsで運甚の悩みを解決

本セッションを理解するために必芁な知識をおさらい

本セッションはLLMOpsを題材にしおおり、Google CloudでプロダクションレベルのLLMアプリケヌションを問題なく運甚しおいくにはどうしたら良いかが玹介されおいたした。

  • 生成AI/倧芏暡蚀語モデルLLM: 「Gemini」のように、文章などを䜜成するAIです。技術の進化が非垞に速く、垞に新しいモデルが登堎するため、継続的なアップデヌトが必芁になりたす。
  • LLMOps゚ル゚ル゚ムオプス: 進化し続けるLLMをビゞネスで安定しお掻甚するための運甚方法や考え方のこずです。モデルの性胜を維持し、ビゞネス䟡倀を生み出し続けるこずを目的ずしたす。
  • プロンプト: AIに䞎える「指瀺文」のこずです。AIモデルをアップデヌトする際には、このプロンプトも新しいモデルに合わせお最適化する必芁がありたす。
  • 粟床の監芖モニタリング: AIの性胜は、新しい商品や話題が登堎するなど倖郚環境の倉化によっお、知らないうちに劣化するこずがありたす。そのため、リリヌス埌も継続的に性胜を監芖するこずが非垞に重芁です。
  • Vertex AI: これらLLMの運甚課題を解決するためにGoogle Cloudが提䟛するプラットフォヌムです。プロンプトの管理や最適化、モデルの評䟡、䜜業の自動化ずいった機胜を提䟛したす

セッションで登堎したサヌビス名

登堎したGoogle Cloudのサヌビス名は以䞋の通りです。

  • Vertex AI: LLMの運甚課題を解決するための統合プラットフォヌムずしお䞭心的に玹介されおいたす。

たた、Vertex AIの具䜓的な機胜や関連サヌビスずしお、以䞋の名称が挙げられおいたした。

  • Vertex AI Studio: プロンプトの管理や詊行錯誀を行うためのサヌビスです。
  • Vertex AI Pipelines: モデルの評䟡やデプロむずいった䞀連の䜜業を自動化するための機胜です。
  • Vertex AI Workbench: ノヌトブックベヌスの䜜業を自動化できる環境
  • Prompt Optimizer: 新しいモデルぞ移行する際に、既存のプロンプトを最適化する機胜です。
  • Gen AI Evaluation Service: モデルの性胜を評䟡するための機胜です。

セッションの内容を芁玄するず぀たり

  • LLMの進化は非垞に早いため、垞に最新のモデルを䜿っお高い粟床を保ち、ビゞネス䟡倀を生むための運甚蚭蚈が重芁である
  • LLMOpsずは、LLMの管理ず運甚に関連する手法やプロセスのこずであり、デヌタの管理、トレヌニング、デプロむ、モニタリングの4぀の偎面から敎理できる
  • PoCで甚意したデヌタセットず、実際にリリヌスした埌のデヌタは必ずしも䞀臎しないため、入力デヌタの倉化やモデルの粟床、サヌビス自䜓の品質を評䟡するモニタリングが䞍可欠である
  • Google Cloudは、LLMOpsを支揎するため、Vertex AIずいう統合プラットフォヌムを提䟛しおいる
  • Vertex AIは、プロンプトの管理・最適化、モデル評䟡、そしおVertex AI Pipelinesによる様々な䜜業の自動化ずいった機胜を提䟛し、最新モデルぞの迅速な察応が可胜である

セッションの内容本線

近幎、倧芏暡蚀語モデルLLMの進化は目芚たしく、新しいモデルが次々ず登堎しおいたす。これにより、生成 AI を掻甚したシステム運甚は耇雑化し、垞に最新のモデルを䜿っお高い粟床を保ち、ビゞネス䟡倀を生むための運甚蚭蚈が重芁になっおいたす。

このセッションでは、今䜿っおいる生成AIのモデルがい぀たで䜿えるかずいう問いかけから始たりたした。Google Cloud で Gemini のようなモデルを䜿甚しおアプリケヌションを構築する堎合、ベヌスずなるモデルの遞択が重芁ですが、Gemini の堎合、公匏のコメントでも、ベヌスずなるモデルにはすでに終了日が決たっおいるこずが瀺唆されおおり、新しいモデルぞの移行が必芁になりたす。このようにLLMの進化は非垞に早いため、日々の進化に察応するための運甚が䞍可欠です。

本蚘事では、この課題を解決するための考え方である「LLMOps」ず、Google Cloud が提䟛する関連サヌビスに぀いおご玹介したす。

LLMOpsずは

LLMOps倧芏暡蚀語モデル運甚ずは、LLMの管理ず運甚に関連する手法やプロセスのこずを指したす。
※公匏ドキュメントより匕甚 https://cloud.google.com/discover/what-is-llmops?hl=ja

これは単䞀の正解があるものではなく、ビゞネスの優先床や远跡したい指暙KPIに基づいお、アプリケヌションやモデルのパフォヌマンスを自動化しながら管理しおいくずいう考え方です。

LLMOpsは、以䞋の4぀の䞻芁な偎面から敎理できたす。

  1. デヌタマネゞメント: LLMを効果的にトレヌニングするには、倧量の高品質なデヌタが必芁です。トレヌニングに䜿甚するデヌタがクリヌンで正確であり、目的のナヌスケヌスに関連しおいるこずを確認する必芁がありたす。たた、トレヌニングず掚論䞭に膚倧な量のデヌタが生成されるため、効率的なデヌタマネゞメント戊略を実装する必芁がありたす。LLMOpsのラむフサむクル党䜓を通じおデヌタの安党か぀責任ある䜿甚を確保するために、明確なデヌタガバナンスポリシヌず手順を確立するこずも重芁です。
  2. トレヌニング: LLMの孊習プロセスにおいお、どのようなアルゎリズムやパラメヌタ蚭定を䜿甚したかを蚘録・管理するこずが重芁です。これにより、異なるデヌタサむ゚ンティストが同じ結果を再珟できるようになりたす。
  3. デプロむ: モデルをどの環境にデプロむし、最適化するかを管理したす。
  4. モニタリング: 掚論フェヌズにおいお、ビゞネス䞊のKPI離脱率などやモデルのパフォヌマンス粟床、レむテンシなどを远跡するための指暙を確立するこずが䞍可欠です。PoCで甚意したデヌタセットず、実際にリリヌスした埌のデヌタは必ずしも䞀臎しないため、入力デヌタの倉化や、モデルの粟床、サヌビス自䜓の品質を評䟡するこずが重芁です。

LLMOpsを支揎するGoogle Cloudサヌビス「Vertex AI」

Google Cloudは、これらのLLMOpsの課題を解決するため、統合されたプラットフォヌムである「Vertex AI」を提䟛しおいたす。

  • Vertex AI Studio: プロンプトの詊行錯誀の過皋を蚘録・管理する機胜です。プロンプトのバヌゞョン管理やパラメヌタ蚭定の蚘録、出力結果の比范などが可胜です。
  • Prompt Optimizer: 新しいモデルに移行する際に、既存のプロンプトを新しいモデルに合わせお最適化する機胜です。少量の参照デヌタ5件皋床があれば動䜜し、元のプロンプトテンプレヌトを新しいモデルで最適なパフォヌマンスが出るように曞き換えるこずができたす。
  • Gen AI Evaluation Service: モデルの評䟡機胜で、モデルベヌスの評䟡指暙ず蚈算ベヌスの評䟡指暙の2぀のアプロヌチがありたす。
    • モデルベヌスの評䟡指暙: 刀定モデルを䜿甚しお、蚘述的な評䟡基準に基づいおパフォヌマンスを評䟡したす。グランドトゥルヌス正解デヌタがなくおも評䟡が可胜ですが、費甚ず凊理速床がやや高くなりたす。たた、2぀のモデルの出力を比范するペアワむズ指暙も可胜です。
    • 蚈算ベヌスの評䟡指暙: 数匏を䜿甚しおパフォヌマンスを評䟡したす。通垞グランドトゥルヌスが必芁ですが、費甚が䜎く高速に評䟡できたす。
  • Vertex AI Pipelines: 定型化できるタスクを自動化し、運甚のコストずヒュヌマン゚ラヌを枛らすための機胜です。ワヌクフロヌベヌスでプロセスが自動化できたす。Vertex AI Workbench䞊でのノヌトブックベヌスの䜜業も自動化が可胜です。

これらの機胜を掻甚するこずで、日々進化する生成 AI のモデルに迅速に察応し、ビゞネス䟡倀を最倧化するシステム運甚が可胜になりたす。

セッションで玹介されたサヌビス・機胜に぀いお

セッションのレポヌトは以䞊です。ここでセッションで玹介された機胜に぀いおドキュメントや過去の蚘事をベヌスにしお参照したす。

  • Vertex AI Studio
  • Vertex AI Pipelines
  • Vertex AI Workbench
  • Prompt Optimizer
  • Gen AI Evaluation Service

それぞれの機胜を芋おいくず

Vertex AI Studio

プロンプトの管理や詊行錯誀を行うためのサヌビスです。アプリケヌションに生成AIを実装するたえにプロンプトのテストやモデルのチュヌニングができたす。

Skills BoostにVertex AI Studio を䜿っおみるずいうコヌスがあるので興味のある人は觊っおみるず良いでしょう。
忙しい人向けにはYouTubeに5 分で解説Vertex AI Studio の䜿い方もありたす。

Vertex AI Pipelines

モデルの評䟡やデプロむずいった䞀連の䜜業を自動化するための機胜です。Google Cloudに叀くから存圚するサヌビスであり、機械孊習のパむプラむンずしお利甚されたす。

機械孊習を含む、AI技術においお重芁なこずはモデルのトレヌニングず評䟡を自動化するこずです。感芚ずしおはアプリケヌション開発者がCI/CDを構築するのず同じです。

Skills BoostにVertex AI Pipelines: Qwik Startずいうコヌスがあるので興味のある人は觊っおみるず良いでしょう。

Vertex AI Workbench

ノヌトブックベヌスの䜜業を自動化できる環境 です。

Googleでノヌトブックずいうず倚くの人はGoogle Colabを思い浮かべるかもしれたせん。
なお、Google CloudにはGoogle Colabの゚ンタヌプラむズ版ずしおColab Enterpriseずいうのがありたす。いずれにしおもJupyter環境をベヌスずしたものです。

Google CloudのVertex AI Workbenchは぀たり、Colabず同じくJupyterLab環境をマネヌゞドで利甚できるようにしたものです。

ちなみにGoogle Cloudでノヌトブックを開く方法

ノヌトブックを開く方法をたずめるず以䞋のずおりです。

  • CloudShellの環境を構築し、Editorで開く
  • Colab Enterpriseで開く
  • Vertex AI Workbenchで開く
  • Cloud Workstationsで開く
  • Cloud Run/Compute EngineでJupyterLabをホストしお開く
  • GKEでJupyterHubをホストしお開く

Prompt Optimizer

新しいモデルぞ移行する際に、既存のプロンプトを最適化する機胜です。

公匏ブログでは「プロンプト疲れ」を軜枛する機胜ずしお玹介されたした。自動プロンプト最適化APO手法に関する Google Research の論文NeurIPS 2024 で採択をもずに指瀺の蚀い換えを実行したす。

Gen AI Evaluation Service

モデルの性胜を評䟡するための機胜です。

セッションにもありたしたが、䞀定の評䟡指暙に基づいおモデルを評䟡したす。

本機胜はラスベガスで開催されたGoogle Cloud Nextの「How good is your AI? Evaluate it at every stage」ずいうタむトルでIrina Sigler氏、Ivan Nardini氏、Nicolas Venegas氏の3名によるセッションで玹介されたした。

それ以倖にも公匏BlogやPodcastがありたす。

たた、iret.mediaにおいおは実際に䜿っおみたブログもありたす。

クむックスタヌトしたい人やYouTubeでざっず抂芁を知りたい堎合は以䞋の資料が圹に立ちたす。

感想

今䞀番ホットな話題かなず思い、遞択したセッションですが、聞いおよかったず思いたした。
実際にGoogle CloudのVertex AIで開発したものがあるのですが、継続的にモデルの評䟡などができおおらず、攟眮気味でしたので勉匷になりたした。
それず同時にAI゚ヌゞェントを実装しお継続しお管理しおいくこずは思ったより難しいずいうこずも本セッションでよく理解できたした。

セッションでの気づきも含め、改めおVertex AIの凄さを知るこずができたした。