クラウドインテグレーション事業部の森です。
re:invent 2023 に現地参加しております。
Adam Selipsky の Keynote でも発表された Zero-ETL 統合 について、Amazon Redshift のセッションでも話があったためレポートを共有します。
これまでのアーキテクチャ
これまで大規模なトランザクション分析のリファレンスアーキテクチャではこちらの構成が必要でした。
このパイプラインは非常に難易度が高く、DMS のような CDC システムを使って変更を継続的にレプリケーションし、データを S3 に格納、それをロードし、分析に利用可能な状態のデータにするための変更など、非常に多くの処理が必要となります。
Zero-ETL 統合を利用したアーキテクチャ
今回、Keynote での発表のように Aurora MySQL との Zero-ETL 統合機能により以下の構成が可能となります。
これを実現できたのは Amazon が多くのレイヤーを管理しているためであり、ストレージ層でこのコラボレーションを実現しました。
この統合により、ETL パイプラインは不要となり、Amazon Aurora に書き込まれたデータを数秒で Redshift に複製し、分析を可能にします。また、Aurora MySQL 環境でのログレプリケーションなどのオーバーヘッドが不要となります。
- Amazon Redshift 統合ターゲットの容易な作成
- ストレージレイヤーでのデータのシーディングと継続的なレプリケーションの自動化
- 複数の Aurora データベースクラスタからのデータの統合
- 取り込みと並行して分析を実行
- Amazon Redshift のシステムテーブルと CloudWatch から経過、遅延、パフォーマンスを監視
今回 Aurora MySQL との統合が GA されましたが、既に他の3つの DB についても着手しており、プレビューとなっています。
