弊社社員の Keynote 記事でも紹介されている、Amazon S3 Express One Zone について AWS re:Invent 2023 のセッション「STG227-INT | AWS storage: The backbone for your data-driven business」内でも解説されました。
https://aws.amazon.com/jp/blogs/aws/new-amazon-s3-express-one-zone-high-performance-storage-class/
本セッションはアプリケーション、分析、AI/ML のワークロードを強化するために必要な信頼性が高く、スケーラブルで安全なストレージサービスについてのセッションですが、その中で AWS の高性能ストレージを使用して、より高速なデータ アクセスを可能するという部分で紹介・解説されていました。
レイテンシーの削減は、対話型のワークロードやデータ依存関係のあるワークロードに非常に有効であるという前置きから～
改めて Amazon S3 Express One Zone の GA を発表。
シングル AZ(単一のアベイラビリティーゾーン内)で新規のバケットタイプで利用する形となり、高パフォーマンスを実現しているとのこと。
S3 Standard との CPU、GPU それぞれの学習処理でのパフォーマンス比較。Express One Zone の方が GPU に関して高いパフォーマンスで安定しています。
AI/ML のワークロードにおいて画像処理は大きい割合を占めると思います。その上で S3 でありながら GPU に対して高パフォーマンスのアピールは刺さってきますね。
同じく S3 Standard との比較としてチワワの顔とマフィンを認識し仕分けしていく処理のデモ。リアルタイムで動きが見えましたが、確かに速い。
Express One Zone は従来の S3 Standard より10倍高速であり、コスト面でも総コストの40%を削減できるとのこと。
既存の AWS が展開している各種ストレージ系サービスとのレイテンシー比較。インスタンス直のストレージも含めて列挙されていますが、EFS と大差ない数値。
こういった細かい比較を公式に出してくるのは非常に大切だと思います。
高パフォーマンスなストレージの用途はたくさんある
Amazon S3 Express One Zone は、99.9% の可用性、 SLA で 99.95% を提供するとのことで、ここは既存の S3 と同じです。99.999999999% のデータ耐久性も同じ。ワンゾーンにおけるデータ消失が考えられる唯一のリスクですが、バックアップ方法は昨今であれば手段はいくらでもあります。
バケットタイプの指定、新しい認証モデル、およびバケット命名規則と使い方に差は出そうですが、バケットからの連続したデータ取り込み処理や、並列高速処理などニーズは多岐にわたるのと一般的なアプリケーションでも大きいサイズのファイル処理を頻繁に行なうのであれば、単純にコスト面を踏まえて使っても良いんじゃないかと思います。
Amazon Athena、Amazon EMR、AWS Glue Data Catalog などにも対応しているとのことで、 Express One Zone で作成するだけで高速化が見込めるのと、それらのサービスを選定する理由にも繋がります。
高速であることはシステム全般において非常に重要なので、根幹的な S3 にこういったものを出してくるのは素晴らしいです。
 |
2023年12月7日 (木)「AWS re:Invent 2023」のポイントを解説する「AWS re:Invent 2023 re:Cap presented by iret」を開催します。 詳細はこちら：https://cloudpack.jp/lp/aws-reinvent-recap-2023/ |
