【AWS re:Invent 2023】Monday Night Live サマリ（Aurora Limitless Database、Redshift serverless AI-driven scaling and optimizations、etc）

AWS re:Invent 2023 初日11/27　Monday Night Liveにて新サービス、新機能等が紹介されました。

拙い翻訳にはなりますが、速報として以下に内容の要約を記載いたします。

サーバレスの進化

サーバーレスの進化は、サービス初期はターゲットを絞った製品提供から始まり、時間とともに革新が続いています。
AWSは、過去数年間にわたり、サーバーレスの進化に焦点を当てており、S3、Lambda、Dynamo DBなどがその代表的な例となっています。
これらのサービスは、サーバーレスの本質的価値を具現化し、サーバーの管理手間を省くことに繋がっています。ただし、これはサーバーレスの始まりに過ぎません。
AWSは毎年、クラウドコンピューティングサービスの6つの重要な属性を組み込んでおり、これらの要素をさらに一歩進化させることができると強く感じています。
サーバーレスの利点として、弾力性、コスト効果、効率性、持続可能性、セキュリティ、可用性が挙げられ、これが進化していることが重要です。
サーバーレスは柔軟性があり、必要な分だけ支払うため、コストを最適化できます。AWSのネイティブ機能や可用性ゾーンアーキテクチャを活用することで、セキュリティと可用性も向上します。
ただし、完全にサーバーレスに移行できない理由として、レガシーコードの存在や機能の豊富さがあります。

データベースのサーバーレス化に向けた取り組み

物理的なサーバー上に1つの大きなデータベースを配置し、必要に応じて拡張する方法や、複数のデータベースを同じサーバー上で実行し、共有リソースを効率的に使う方法を提案してきました。
セキュリティの観点からハイパーバイザーが必要であり、AWSでは新しいハイパーバイザー、ヒート管理計画システム、データベースエンジン変更を通じて、Auroraサーバーレスデータベースの開発を進めています。最大メモリ容量をサポートするように設定されたインスタンスで、必要なメモリはデータベース実行時の実際のニーズに基づいて割り当てられ、複数のデータベースを同時に実行し、ホストのリソースを共有してます。また、ハイパーバイザーのセキュリティと分離した上で、柔軟なサイズ変更を実現しています。ヒート管理システムはデータベースのリソースを管理し、データベースの瞬時の拡大・縮小を可能にします。メモリが不足する場合は、別の物理ホストにインスタンスを移行し、ほとんどのパフォーマンス影響なくデータベースをスケーリングできます。物理ホストの制約を超えるためにデータベースシャーディングの導入が必要であり、この課題に対応するために「Aurora limitless Database」を発表します。

Aurora Limitless Database

Aurora Limitless Databaseは、データベースを単一サーバーのスループットを超えて拡張することを容易にし、データベースシャードへのクエリのルーティングを心配せずに利用できます。
アプリケーションは単一のエンドポイントに接続し、シャード化されたデータベースの拡張性を利用できます。データは自動的に複数のシャードに分散され、異なるテーブルの行が同じシャードに配置されるように構成できます。これにより、複数のシャードにクエリを行う必要が減り、パフォーマンスが最大化されます。Limitless Databaseは、すべてのシャードでトランザクションの整合性を提供します。
Aurora Limitless Databaseは、クエリをシャードデータベースに分散するためのルーティングおよびオーケストレーションのレイヤーが必要ですが、このレイヤーはデータベースの状態を最小限に抑えるように設計されています。各ルーターは実際にAuroraデータベースであり、複数のデータベースシャード間で複雑なクエリを調整し、結果を組み合わせることができます。
データベースシャードの管理では、Limitless Databaseでは各シャードが、必要に応じて拡大・縮小できます。物理サーバーのサイズ制約に達した場合、シャードを2つに分割することができ、データベースのクローンと再パーティションが容易に行えます。

(参考：https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-aurora-limitless-database/)

Elastic Cache Serverless

分散データベースでのログ順序付けの課題に焦点を当て、ウォールクロック時間を使用して高性能な分散データベースログを作成する革新的なアプローチを紹介します。
Nitroを活用し、特殊な時間同期ネットワークによってローカルクロックを正確に同期させることが可能になり、Amazon Time Sync Serviceは、高精度なタイミング信号を提供する専用のリファレンスクロックとローカル原子時計を使用して、サテライトベースの原子時計からの信号を受信します。
各ラックにはこれらのクロックの他に、タイムパルスを配信する特殊なネットワークがあります。このネットワークはNitroチップとFPGAを使用しており、EC2サーバーに直接微小なパルスを配信します。
この手法により、Amazon Time SyncはサポートされるEC2インスタンスでUTCの数マイクロ秒以内に同期されるクロックを提供します。これにより、高精度かつ一貫性のあるクロック同期が可能となり、分散データベースやトランザクション処理などのアプリケーションでの効率向上が期待できます。AWSでのインフラ構築の魅力は、興味深い問題の解決により、その解決策が他の領域でも応用できることです。
柔軟なサイジングと配置の能力を提供し、Aurora limitless databasesやAurora serverlessなど、異なるサービスでこれを利用しています。
Elastic Cacheを使用したリクエストルーティングレイヤーは非常に高速で、顧客はElastic Cache Serverlessの性能と柔軟性に興奮すると期待しています。

（参考：https://aws.amazon.com/jp/blogs/aws/amazon-elasticache-serverless-for-redis-and-memcached-now-generally-available/）

Riot Games社による顧客の成功事例

今回はRiot Gamesのグローバルインフラストラクチャとオペレーションの責任者であるBrent Rich氏が登場し、Riot GamesのBrent Rich氏が挨拶し、League of Legends World Championshipに関するAWSとの協力関係について話しました。5年半前、Riot Gamesはクラウドに完全に移行する決定をし、AWSの助けを得て新しいゲームを含む全ての新規プロジェクトをクラウド上で開始しました。
AWSと協力して「Valorant」をローンチし、その後もさまざまな課題に取り組み、リモートブロードキャストの改善や収益化の進展に成功しました。AWSとの協力により、データセンターの移行、古いゲームの近代化、グローバルゲームのクラウド上でのローンチなどが36か月で達成され、Riotの成長とゲーマーへのエクスペリエンス向上が実現されました。

（参考：https://aws.amazon.com/jp/sports/riot/）

Redshift Serverless 新機能 AI-driven scaling and optimizations

データウェアハウスは特殊なデータベースであり、多岐にわたるユーザーサービスを提供し、様々なワークロードを処理します。
これまで最大のサーバーを使用していましたが、管理には手動の調整が必要であり、最適な結果を得るためには再調整が必要でした。
これらの課題に対処するため、2021年にRedshift Serverlessが導入されました。Redshift Serverlessはワークロードに基づいて自動的にスケーリングし、データウェアハウスのデータレイアウトを最適化し、データ管理操作を自動化します。ただし、最も要求の厳しいRedshiftのユーザーは、一部のワークロードでは引き続き改善が必要であると報告していました。
今回Amazon Redshift Serverlessに導入した新機能には、データウェアハウスの予想負荷をモデル化し、機械学習によって容量を自動調整する能力です。
これにより、ETLジョブや複雑なクエリが実行される際にも、適切なリソースが迅速かつ最適に割り当てられます。新しいAI駆動のスケーリングと最適化により、パフォーマンスが向上し、最大10倍の価格性能が実現されます。クエリごとにリアルタイムにリソース要件とパフォーマンスを理解するための機械学習モデルが導入され、これにより異なるクエリに対して最適なリソースが割り当てられます。
また、ユーザーはコストとパフォーマンスのバランスを指定でき、自分のビジネスに最適な位置にスライダーを調整できます。
これらの変更により、Redshift Serverlessはよりスマートで適応力があり、サーバーレスコンピューティングの利点を最大限に活用できます。

（リリース：https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-redshift-serverless-ai-driven-scaling-optimizations-preview/）

量子チップ製造の紹介

量子チップの製造過程を実演する予定でしたが、機器の壊れる可能性が高かったため、その代わりに製造過程の写真を紹介しました。
量子チップはノイズを最小限に抑えるために慎重に開発され、シリコンウェハーから始まり、冷凍環境で動作する必要があるため、複数のチップが結合されます。
感度のあるキュビットを含む1つのチップと、キュビットを読むための配線を含むもう1つのチップがあります。
これらのチップは外部のプリント基板に結合され、金メッキされた銅のマウントに取り付けられます。これにより冷蔵庫への熱的なアンカリングと電磁シールディングが提供されます。アセンブリは希釈冷蔵庫に取り付けられ、絶対零度に近い温度で冷却されます。量子チップのシリコンに手を触れる前に、様々なエンジニアリングが行われ、チップのレイアウトを行うための優れた設計ツールも使用されています。
また、チームはチップの電磁シミュレーションを開発し、環境ノイズを低減し、高品質な結果を得るためのツールキットをオープンソースとして提供しています。
このエラーコレクションに対する新たなアプローチは、将来の量子コンピュータの進展に期待を抱かせるものであり、その過程を定期的に共有する予定です。

（参考：https://aws.amazon.com/jp/what-is/computer-chip/）

最後に、

AWSは、量子コンピューティング、カスタムハードウェア、データベースの再構築、新しいハイパーバイザーなど、様々な分野で常に日々初めての精神で革新を続けており、
これらの革新が、お客様がより優れたエクスペリエンスを構築できる支援につながっていくと考えています。