概要

セッション詳細: When AI meets data: Stack Overflow and Gemini

スピーカー:

Ryan Polk (Stack Overflow Chief Product Officer)

Cheng Wei (Google Cloud Group Product Manager)

セッション内容

このセッションでは Stack Overflow と Gemini Cloud Assist の統合の紹介と、生成AI が人間とどのように共存していくかについての紹介が行われました。

まず前提として、2024年2月29日に Stack Overflow を運営する Stack Exchange社と Google Cloud は戦略的連携を発表しています。これにより Stack Overflow の Q&A データが Gemini などに提供され、より Google Cloud での技術的な回答の精度の向上が期待されています。

参考: Stack Overflow and Google Cloud Announce Strategic Partnership to Bring Generative AI to Millions of Developers

社会的責任のある AI

始めに Ryan氏が強調していたのは、社会的責任のある AI が重要ということです。ここで Ryan氏のいう社会的責任のある AI というのは、回答が正確性であることだと私は理解しました。デタラメな回答ばかり行う AI だと、責任を負っているとは到底言えないですからね。

続いて、開発者の70%が AI 機能を利用していると回答した一方で、回答の正確性を信頼していると回答した開発者はわずか42%。

この結果により、現時点でいかに開発者が AI の回答を信頼できていないかが分かるかと思います。

また、Stack Overflow が行った調査では、チャットボット形式での生成AI に質問を行って求めていた回答が得られてもその過程の内容をあまり理解できておらず、結局は詳細な理解のために Stack Overflow のサイトを訪れる傾向があるということが分かったようです。

これにより人間こそがコミュニティに参加する人々に文脈と正確な答えを提供する上で最高の情報源、最高のリソースだということが分かったようです。

このことから Stack Overflow では、Stack Overflow 内で人間が行った質問と回答をデータセットとして LLM へ提供し、回答の精度を向上させる = 社会的責任のある AI のサポートをしていくという取り組みを行っているとのことでした。素晴らしいですね。

Stack が目指しているのは検証済みで信頼できる正確なデータを基盤として、技術ソリューションが構築され、ユーザーに提供されるという新しい基準を打ち立てることです

Gemini Cloud Assist との統合

Gemini Cloud Assist は Next’ 24内で発表された、最先端のジェネレーティブ テクノロジーと Google Cloud に関する深い理解を活用して、クラウド管理エクスペリエンスに変革をもたらすサービスです。この強力な組み合わせは、お客様が Google Cloud の運用において日々直面している複雑さと課題に対処するためのものです。

Gemini Cloud Assis は以下を提供することで、クラウド管理エクスペリエンスを向上させます。

  • 第一に、設計からデプロイ、トラブルシューティング、運用、最適化まで、 お客様のクラウド目標を達成するまでのプロセスを支援することで、 成果を迅速に達成します。
  • 第二に、すべてのクラウド作業ワークフローを自動化し、インテリジェントに 支援することで、タスク管理エクスペリエンスを簡素化します。
  • 第三に、Gemini はお客様が誰であるか、リソースを知っているので、 特定の環境とクラウドリソースに基づいたパーソナライズされた エクスペリエンスを提供することができます。
  • 最後に、セキュリティとコンプライアンスの観点から、Google Cloud Assist のお客様は、最新のセキュリティプラクティス、最新の知識、 信頼できるエンタープライズ グレードのセキュリティとコンプライアンスを直接活用することができます。

Gemini Cloud Assist で利用される Gemini はすでに大量のドキュメント、 書籍、コード、ビデオ、音声、画像ファイルで学習されていますが、これらと合わせて Stack Overflow のデータと、その利用者の Google Project 内のテレメトリーデータ、ユーザー固有のコンテキストなどのデータセットが利用され、最終的に Gemini Cloud Assist がそれらをすべて考慮した回答を行うことが可能になります。

またここで利用される Stack Overflow のデータは常に最新の投稿を使って基盤となるデータを更新しているので、古い情報や不正確なデータ、最先端の回答が必要な新しい分野で信頼できない情報に悩まされる心配はないとのことです。

これはセッションの最後の質問タイムで聞けた裏情報ですが、ここで Gemini に Stack Overflow のデータセットを与えるのはトレーニングではなく、RAG で行っているとのことでした。RAG の方が適用が早いからという理由のようです。

またこの Stack Overflow のデータセットを RAG でグラウンディングする機能は、今後 Gemini Cloud Assist で利用される Gemini 以外のすべての Gemini にも適用されるとのことでした。楽しみですね。

Stack Overflow データの活用

Stack Overflow は調査を行った開発者の92%が定期的に訪問しており、過去15年間にわたって、コミュニティによって寄せられた非常に正確で高品質で信頼できる知識が蓄積されています。

また、Stack Overflow には 5,800 万件を超える質問と回答が寄せられており、 およそ 14 秒ごとに質問が投稿され、回答はさらに頻繁になされているとのことです。さらにサイトには 69,000 種類ものテクノロジータグがあり、さまざまなトピックが扱われ、サイト上の知識は 510 億回以上も再利用されているとのことです。

AI と人間の共存

人間 (Stack Overflow Community) と AI の共存として、AI は解説や要約、新しい質問を作成すべき分野の発見や Stack Overflow で質問を行う際の内容やフォーマットのアシストなどを行い、人間は高精度の回答の作成、解釈、検証などを行い、Stack Overflow は精度の保証、AI が回答の根拠となったデータセットへの帰属の提供、信頼性の提供を行うことで、技術的な回答における人間と AI の共存を Stack Overflow が橋渡しするというビジョンをかかげているとのことです。

最終的には、コミュニティは人間と AI が協力し合い、互いに学び合うためのものへと進化すると信じています。そして、 学習こそが Stack Overflow コミュニティの一環として私たちが 構築しているものの核なのです。

最後に

Stack Overflow と Gemini Cloud Assist の統合の詳細を紹介していきましたが、いかがでしょうか。私自身 Stack Overflow はよく参照しながら開発をすることが多いので、今後の全体的な Gemini との統合もかなり楽しみです。

また Gemini Cloud Assist はそのユーザーの Google Cloud のプロジェクトでどのようなサービスが作成されていて、どのような問題が起こっているか (今後起こりそうか) ということまで考慮して回答や提案をしてくれるので、Google Cloud の運用負荷がかなり低減できるので積極的に使っていきたいですね。