アイレット株式会社 クラウドインテグレーション事業部所属の森 柾也です。
Google Cloud Next において、「What’s new with Cloud Storage」というセッションに参加しました。
このセッションでは Cloud Storage の新機能について多くの機能が紹介されました。

本記事では、低レイテンシかつ高スループットという、AIワークロードに不可欠な要件を満たすサービスに焦点を当ててご紹介いたします。

AIワークロードで求める低レイテンシと高スループット要件

セッションの最初は、AIの進化について触れられました。
近年、AI（人工知能）の分野は目覚ましい発展を遂げ、その影響はあらゆる産業に広がっています。
特に、生成AIなどは膨大なデータを高速に処理する必要があり、ストレージに対する要求も従来のアプリケーションとは一線を画します。
低レイテンシと高スループットが、AIワークロードのパフォーマンスを最大限に引き出すための重要な鍵となるとのことでした。

参考: High performance storage innovations for your AI workloads

高速データアクセスを実現する Rapid Storage


Google Cloud Storage は、AI/ML（機械学習）ワークロードの高速化に特化した新しい Cloud Storage バケット、Rapid Storageを発表しました。

  • Rapid Storageの特徴:
    • 超低レイテンシ: 1ミリ秒以下のランダム読み取りレイテンシを実現し、データサイズに関わらず高速なアクセスを可能にします。
    • 高スループット: 最大 6 GB/秒のスループットを提供し、大量のデータを瞬時に処理できます。
    • 高 IOPS: ほぼ無制限の IOPS を実現し、高負荷なワークロードにも対応可能です。

Rapid Storage は SSD を基盤としており、コンピュート（GPU）に極めて近い場所に配置されることで、低レイテンシを実現しているとのことでした。
マシン同士の近接性ですらボトルネックになるAIワークロードにとっては非常に有用な新機能だと思います。

参考: Colossus: the secret ingredient in Rapid Storage’s high performance

大規模並列処理を実現する Managed Lustre

AI分野、特に大規模なモデルのトレーニングや推論においては、共有並列ファイルシステムがデファクトスタンダードとなっています。
そこで Google Cloud は、高性能コンピューティング（HPC）向けにスケーラブルな共有並列ファイルシステム Managed Lustre を発表しました。

  • Managed Lustre の特徴:
    • 高いスケーラビリティ: 容量は 18 TiB から 1 PB (936 TiB) まで拡張できます。
    • GPUインフラとの最適化: 大量の学習データやモデルのチェックポイントの移動時間を最小限に抑え、GPUインフラの利用効率を最大化します。

並列ファイル システムとしては、今回発表された Managed Lustre だけでなく DAOS ベースの Google Parallelstore もあるため、ユーザーは使い慣れたシステムを選択できるようになったと思います。

参考:

データアクセスを加速させる Anywhere Cache


データレイクを活用した分析ワークロードにおいては、データへの高速なアクセスがパフォーマンスに直結します。
この課題を解決するために登場したのが Anywhere Cache です。
これは、Cloud Storage に保存されたデータを、コンピューティングリソースに近い高速なローカルキャッシュに配置することで、データアクセス時のレイテンシを大幅に削減する機能です。

Anywhere Cache 特徴:
* 大幅なレイテンシ削減: 特に分析ワークロードにおいて、最大 70% ものレイテンシ削減効果が期待できます。
* コスト効率: キャッシュに保存されたデータに対してのみ料金が発生するため、コスト効率の高いデータアクセスが可能です。

Cloud Storage に大量のデータを保管し、それに対してクエリや分析処理を行うユーザーにとっては嬉しい機能になると思います。

参考: Anywhere Cache の概要

効率的なデータ管理 Storage Intelligence



データ量が爆発的に増加する現代において、データを理解し、効率的に管理することは非常に重要です。
そこで発表されたのが Storage Intelligence です。
これは、お客様が Cloud Storage に保存しているデータの分布やメタデータを分析し、コスト最適化やセキュリティ強化、データ移動の自動化などを支援する新しい機能です。

Storage Intelligence の特徴:
* データの可視化: 保存されているデータの種類、量、保存場所などをグラフィカルに表示し、データ全体の状況を把握しやすくします。
* メタデータの分析: カスタムメタデータを含む様々なメタデータを分析し、データの特性に基づいた管理ポリシーの設定などに役立てます。

将来的には、Google の最新AIモデルである Gemini との連携も予定されいるとのことで、より高度なデータ理解や操作が期待されます。

参考: Storage Intelligence

まとめ

大規模なデータ分析やAI/MLトレーニング、推論を行うエンジニアやデータサイエンティストや、ペタバイト級のデータを扱う研究機関にとって嬉しい新機能が多く発表されたと思います。
パフォーマンス、運用効率、コストの観点からで様々な課題を解決できる機能が多く紹介され、AIワークロードにとって実用性の高い機能と感じました。
今後もAIの進化を強力にサポートする Google Cloud の取り組みに注目したいと思います。