概要
BigQuery が PaLM の登場によりできることになった幅広さを主に紹介されていました。
内容
やっぱりデータ分析でも Vertex AI
Google Cloud のデータ分析周辺サービス
まずは Notebook を利用したデータ分析
Colab Enterprise と BigQuery の統合により BigQuery からノートブックが使えるようになりました。
データ分析がノートブック上でできちゃいます。
データ分析で扱っていた Pandas などを全く同じような使い方で BigQuery でも使える BigQuery DataFrames がでました。
デモ
以下を例題としてデモが行われていました。
リネージを使ってテーブル間の依存関係を調べられたり、プロファイルでテーブル内のカラムの値の最大値、最小値、欠損値などを閲覧できるとのこと。
プロファイル画面
こちらが Notebook で BigQuery DataFrames を利用して Python が実行された結果です。
左ペインで Notebooks にぶら下げられた場所で実行され、結果がでていることがわかります。
次に PaLM を利用したデータ分析
BigQuery から PaLM を呼べます。
デモ
以下を例題としてデモが行われていました。
テキストを Embed しベクトル表現に変換する
ベクトル表現に変換することで知りたい事により近いものを検索することができるようになる。
モデルのトレーニングは時間もコストもかかるので、今ストレージ内にあるものを検索する RAG (Retrieval Augmented Generation) を行う。
すごいのは、ベクトルストレージつくる → Embedding する → ベクトル検索する これらすべてが SQL で実現できていること。
まとめ
BigQuery はデータ分析に必要なものがまたさらに包含され、 LLM をも呼べるようになりました。
まさにタイトル通り、データ分析の進化を見せ付けられるセッションになりました。
こういったことができることを頭に入れ、アーキテクチャの検討などを行えるようにしていきたいと思います。
