AWS re:Invent 2022 で行なわれた、「Enabling operational analytics with Amazon Aurora and Amazon Redshift」のセッションレポートです。

この記事は、要点・見どころ・ポイントについてまとめます。

セッション概要

Title

Enabling operational analytics with Amazon Aurora and Amazon Redshift

Amazon Aurora とAmazon Redshift による運用解析の実現

Overview

Companies increasingly need near real-time analytics on operational data to better understand their customers and core business drivers to improve user experience and optimize business processes. Today, operational analytics systems are limited to a single database or consist of building custom data pipelines that can be challenging and costly to manage and at times create hours-long delays to obtain transactional data for analytics. In this session, dive deep into a new feature for Amazon Aurora, which supports zero-ETL integration with Amazon Redshift. Learn how this new no-code integration between Amazon Aurora and Amazon Redshift enables near real-time analytics and machine learning on petabytes of transactional data.
企業は、顧客や主要なビジネスドライバーをより深く理解し、ユーザーエクスペリエンスを向上させ、ビジネスプロセスを最適化するために、業務データをほぼリアルタイムで分析する必要性に迫られています。今日、業務分析システムは単一のデータベースに限定されているか、カスタムデータパイプラインの構築で構成されていますが、その管理は困難でコストがかかり、時には分析用のトランザクションデータを得るために数時間の遅延が発生します。このセッションでは、Amazon RedshiftとのゼロETL統合をサポートするAmazon Auroraの新機能を深く掘り下げます。Amazon AuroraとAmazon Redshiftの新しいノーコード統合により、ペタバイト級のトランザクションデータに対して、ほぼリアルタイムの分析と機械学習がどのように可能になるかを学びます。

Services

Amazon Aurora, Amazon Redshift

Session type

Breakout Session

Speakers

Neeraja Rentachintala, Principal Product Manager, Amazon
Adam Levin, Product Manager, Amazon Aurora, AWS

Report

Amazon Aurora と Amazon Redshift との ZeroETL 機能が発表されました。
直前になってセッションが追加されたので参加しました。

Amazon Auroraは、Amazon RedshiftとのゼロETL統合をサポートするようになりました。これにより、AuroraからのペタバイトのトランザクションデータでAmazon Redshiftを使用して、ほぼリアルタイムの分析と機械学習(ML)が可能になります。Auroraにトランザクションデータが書き込まれてから数秒以内に、データはAmazon Redshiftで利用できるため、抽出、変換、を実行するために複雑なデータパイプラインを構築および維持する必要はありません、(ETL)操作をロードします。

この zero-ETL はプレビュー版とのことです。バージニアリージョンで試せます。

Amazon Aurora zero-ETL integration with Amazon Redshift is now available in limited preview for Amazon Aurora MySQL 3 with MySQL 8.0 compatibility in the US East (N. Virginia) Region.

既存の運用分析ソリューションは難しい

  • 運用データベースからデータウェアハウスデータには複雑なデータ管理パイプラインが必要になってくる
    ・ETL ジョブの構築と維持に高価で面倒
    ・スキーマ変更によるデータの複雑な再構築
    ・データの不完全。一貫性のない古いビュー、洞察を制限
  • トランザクションと分析を処理する単一のシステムと同じデータベースで制限される
    ・スケーラブルではない
    ・高価である
    ・複数の運用データベース間でトランザクションデータを分析したり、データウェアハウスデータと結合することはできない

About Redshit

Overview

  • 簡単、安全、信頼性
    ・インフラストラクチャを気にせず、数秒でデータ洞察を得ることに焦点を当てられる
  • 全てのデータを分析する
    ・運用データベース、データレイク、データウェアハウス全体で複雑でスケーリングされたデータに関するリアルタイムおよび予測分析を事項する洞察が得られる
  • あらゆるスケールで最適価格なパフォーマンス
    ・他クラウドデータウェアハウスよりも最大5倍優れた価格パフォーマンスを獲得、動的に拡張、複雑で重要なワークロードクエリ速度を向上させる

Performance

  • 7倍コストパフォーマンス
    ・短いクエリのスループット

About Aurora

1/10で MySQL と PostgreSQL の互換性を備えた、世界規模で比類のない高いパフォーマンスと可用性のための設計。

Overview

  • パフォーマンスとスケーラビリティ
    ・ MySQL:標準の5倍スループット PostgreSQL:標準の3倍
    ・最大15個の読み取りレプリカをスケールアウトする
    ・ストレージとコンピューティングの分離によって、コスト最適化が可能
    ・高速なデータベースクロージング
    ・分散されて動的スケーリングされたストレージサブシステム
  • 可用性と耐久性
    ・3つの AZ にまたがる6つのデータコピー(顧客は1つに対して支払い)
    ・ポイントタイムリカバリによる自動・連続・増分バックアップ
    ・フォールトトレラント、自己修復、自動スケーリングストレージ
    ・災害復旧のためのグローバルデータベース
  • 非常に安全
    ・ネットワーク分離
    ・保存中/転送中の暗号化
    ・複数の安全な認証メカニズムと監査制御をサポート
  • 完全に管理
    ・ハードウェアプロビジョニング、データベースのセットアップ、パッチ適用、バックアップなどの管理タスクの時間処理の管理を自動化
    ・サーバーレス設定オプション

Transaction analytics at scale

Amazon Aurora zero-ETL integration with Amazon Redshift

ペタバイト規模のデータを簡単かつ安全に、ほぼリアルタイムで分析することが可能。

Benefits

データパイプラインなしで数秒でトランザクションデータから洞察への取得に焦点を当てる。

  • 簡単で信頼できる
    ・ETL パイプラインを複雑で構築し、維持する必要性を排除する
  • 低遅延データ統合
    ・Aurora からのペタバイトのトランザクションデータを Redshift を使って、ほぼリアルタイムの分析と機械学習を実行できる
  • 統一された洞察
    ・Redshift の高度な分析を使用して、複数のデータベースクラスタから統合されたデータの洞察を引き出す

End-to-End Serverless

Aurora v2 と Redshift がサーバーレス対応しており、ETL 対応可能とのこと。
インフラストラクチャの管理を心配することなく、分析を簡素化できる。

Operational analytics across many databases

多くのデータベースによる運用分析も対応可能。

Analyze and share near real-time data

ほぼリアルタイムのデータ分析も対応可能。

締め

  • Amazon Aurora の顧客は、完全管理された Aurora のペタバイトのトランザクションデータに関するほぼリアルタイム分析に Amazon Redshift を使用できる
  • トランザクションデータが Amazon Auora に書き込まれてから数秒以内に Amazon Redshit のデータが利用可能
  • トランザクションデータはほぼリアルタイムでアクセスできるため、顧客は Amazon Redshit の分析および機械学習機能を活用して、トランザクションデータから洞察を引き出すことが可能

まとめ

Amazon Aruora の利用者は多くいると思いますが、Aurora に保存されてるデータを分析したい要件など結構あったりすると今回の ZeroETL サポートはかなり役立つと思います。
ただしプレビュー版なのもありますが、いつか東京リージョンにも GA してもらいたいです。

以上

 

アイレットなら、AWS で稼働するサーバーを対象とした監視・運用・保守における煩わしい作業をすべて一括して対応し、経験豊富なプロフェッショナルが最適なシステム環境を実現いたします。AWS プレミアティアサービスパートナーであるアイレットに、ぜひお任せください。

AWS 運用・保守サービスページ

その他のサービスについてのお問合せ、お見積り依頼は下記フォームよりお気軽にご相談ください。
https://www.iret.co.jp/contact/service/form/