みなさん、こんばんは。サニービュー事業部の小寺です。re:Inventで発表されたゼロETLについて、振り返っていきたいと思います。発表時点の11月末では「プレビュー版」として提供されています。
https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/
ゼロETLのコンセプト
少し前なので、キーノートの記憶をたどると、ゼロETLの実現は、 「データの統合」は、ある意味でデータ活用の入り口である“一丁目”であり、Selipsky氏の講演では、データ活用の前準備として多くのユーザーが直面するETL(データの抽出、変換、格納)についての話がありました。多くのお客様がデータ統合は『ブラックホールのようなものだ』と言われるので、データを簡単に準備して分析に着手できるよう『Zero ETL』(ゼロETL)を実現したい、とのことです。
同じゼロETLの観点という意味では、 Redshiftと「Apache Spark」の統合もそうですよね。 RedshiftのデータをApache Sparkの環境から直接扱えるようになり、「Amazon SageMaker」などのAWSのサービスを利用できるようになります。
実際にどんなサービスなの?
データベースの「Amazon Aurora」とデータウエアハウス(DWH)サービスの「Amazon Redshift」の間でシームレスにデータを連携することができます。Auroraに書き込まれたデータは数秒後には、RedShiftにレプリケーションされるため、すぐに分析が開始できるようになっています。
対応リージョン
Amazon Aurora と Amazon Redshift のゼロ ETL 統合は現在、米国東部 (バージニア北部) リージョンで、MySQL 8.0 と互換性のある Amazon Aurora MySQL 3 の限定プレビューとして利用できます。