セッション概要
公式ポータルより引用
Join Peter DeSantis, Senior Vice President of AWS Utility Computing, as he continues the Monday Night Live tradition of diving deep into the engineering that powers AWS services. Get a closer look at how our unique approach and culture of innovation help create leading-edge solutions across the entire spectrum, from silicon to services—without compromising on performance or cost.
(DeepL翻訳)
AWSユーティリティ・コンピューティング担当シニアバイスプレジデントのPeter DeSantisが、Monday Night Liveの伝統であるAWSサービスを支えるエンジニアリングに深く切り込みます。AWSのユニークなアプローチとイノベーションの文化が、シリコンからサービスまで、パフォーマンスやコストに妥協することなく、どのように最先端のソリューションを生み出しているのか、詳しくご紹介します。
re:Inventの5つのKeynoteの中でも、コンピューティング関連の話をするセッションとなっています
今回はほとんどの時間を「サーバフルからサーバレスへのジャーニー」に使い、最後にAWSでの量子コンピューターの取り組みについて話していました
この記事では全体的な概要や新サービスの紹介部分などを記載します
各サービスの詳細については、他のメンバーが記事を書いてくれているのでぜひそちらも併せてお読みください！
サーバフルからサーバレスへのジャーニー
データベース編
Aurora と Aurora Serverless
- Powerd by Grover
- Grover：Auroraのストレージ部分
- 「GroverあってのAurora」という意味だと理解しました
- Auroraはログをストアしているだけでなく、処理もしている
- いつでもAuroraにログを送り、ロールバックできるようになっている
- スケーリングも可能で、使った分だけ課金が発生する従量課金制
- しかし、Auroraは本当のサーバレスとは程遠かった
- スケールアップ、ダウンの時に無視できないフェイルオーバーが発生していた
- 本当のサーバレスを目指してAurora Serverlessをリリースした
Aurora Serverlessはどのようにスケーリングするのか？
- スケーリングに対応する方法として、例えば大きめの容量を事前にプロビジョニングしておく方法がある
- ただしこれは余計にリソースを食ってしまうことがデメリット
- 一方で、リソースを共有すると複雑性が増してしまう
- AWSでは複雑性を減らすために、ハイパーバイザーを使用してきた（代表的な例がNitorシステム）
- Auroraでも複雑性を減らすために、Caspianハイパーバイザーを作った
- データベース用に設計したハイパーバイザー
- ハイパーバイザー上で複数のDBを走らせて、下にあるホストのリソースを効率よく使えるようにしている
- コントロールプレーン（Caspian Heat Management System）がハイパーバイザーを管理し、リソース配分の管理をしている
- リソース需給の予測もコントロールプレーンで行っている
- Caspianのおかげで、ms単位でのスケーリングが可能になった
- よりサーバレスに近づいたが、物理的な制約にぶつかってしまったらやはり限界が来る
- これは本当のサーバレスとは言わない
Amazon Aurora Limitless Database
- 真のサーバレスを目指して「Amazon Aurora Limitless Database」を発表！！
- ユーザーがサーバーを意識しないで済む、Auroraでも本当のサーバレスが実現できる
- シャーディングをサーバレスの世界で解決するためのサービス
- ルーティングレイヤーを分離して、そのレイヤーでルーティングの処理を実施している
キャッシュ編
- キャッシュでも同じくスケール管理をする必要があるのが課題である
- そこでElastiCache Serverlessを新発表！！
- キャッシュのプロビジョニングを意識しなくてよくなる
- Caspianがスケール管理で活躍している
RIOT GAMESの事例紹介
- 2017年にクラウド利用に舵を切った
- プレイヤー同士でラグがあると有利不利が発生してしまうが、処理速度要件がシビアだった
- リージョン、Outpost、ローカルゾーンを活用した
- 複数のアップデート要望を出し、長期的対応策と短期的対応策を両方出してくれた
- AWSに対して希望リストを作成しておくべき
- 企業規模に限らず、要望が多ければAWSは対応してくれる
- オープンマインドで行きましょう！
データウェアハウス編
- 2021年にRedshift Serverlessをリリースしたが、ワークロードによっては手を加えないといけないことがあるとの声があった
- データウェアハウスの使われ方
- 大きなETL処理が割り込んでくると、ダッシュボード表示処理などに影響が出てくる
- さらに、データサイエンティストが超大規模な処理を実行したりすると、大きな影響が発生する
- Redshift Next-generation AI-driven scaling and optimizationsの発表！
- いくら予測しても予想外のことは起こりうる
- 予想外の処理にも備えられるように、クエリの構造を解析してクエリごとにリソース予測をする機能を実装
- 大規模なクエリだと判断すると、リソースを用意して他のクエリに影響が出ないようにする
量子コンピューター
- 量子コンピューターが普及しないのはなぜか
- 量子の世界ではエラーが発生しやすい
- エラー是正処理にかなりの労力を要する
- 今までエラーの解消に力を注いでいて、かなり改善されたがまだ普通に使えるレベルではない
- Keynote中、AWSで開発中のQubit現物が登場
- 現在AWSでも量子コンピューターに力を注いでいる
- まさにエラー是正にも注力しているところ
- 近々いい発表ができると思うので期待して待っていてほしい
所感
出だしから「今までのMonday Night Liveとは違うぞ」感を出してきたので、何がくるのかワクワクするKeynoteでした！
Redshiftの新機能のように、AIをサービスの一部として使用することは当たり前の世界にすでになっているのだと実感しました
また、今まで登場してこなかったCaspianというハイパーバイザーの紹介が初めてあったのが驚きでした
同じハイパーバイザーであるNitroと同じように、これからよく登場してくる気がします
量子コンピューターについては乞うご期待だったのが意外でした笑
re:Invent後も面白い発表がありそうだと思わせるKeynoteでした
