こんにちは、小寺です。
Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon RDS for MySQLでAmazon RedshiftともZero ETL統合が発表されましたね。
この記事では、OpenSearchとの統合について、簡単にご説明させていただきます。
https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-dynamodb-zero-etl-integration-amazon-opensearch-service/
アップデート内容
Amazon DynamoDB データに対して全文検索やベクトル検索などの高度な検索機能が提供されるようになりました。
実現方法としては、Amazon OpenSearch Ingestion を使用して、Amazon DynamoDB と Amazon OpenSearch Service の間でデータを同期します。データを同期したいDynamoDB テーブルを選ぶだけで、Amazon OpenSearch Ingestion によって、データが利用可能になってから数秒以内に Amazon OpenSearch マネージドクラスターまたはサーバーレスコレクションにデータが同期されます。
Amazon DynamoDBフィールドが Amazon OpenSearch Service インデックスの正しいフィールドに正確にマッピングも行うことができます。
さらに、DynamoDB テーブルのデータを 1 つの Amazon OpenSearch Service で管理されるクラスターまたはサーバーレス コレクションに同期することもできます。
アップデートにより、カスタムコードやインフラストラクチャを使用せずに、DynamoDB データを自動的に複製・変換できるようになりましたね。
今後については、データの維持にかかる運用上の負担とコスト削減が期待できますね。
Zero ETL統合を開始するには
(1)DynamoDB コンソールの左ペインにある [統合] メニューと、データを同期する DynamoDB テーブルを選択します。
(2)前提条件として、ポイントインタイムリカバリ (PITR) と DynamoDB Streams 機能をオンにする必要があります。
「PITR をオンにする」をクリックし、「エクスポートとストリーム」タブで DynamoDB ストリームを有効にします。
そのあと「作成]」をクリックし、OpenSearch Service マネージド ドメインにデータをレプリケートします。
(3) 最初は一意のパイプライン名を入力し、パイプラインの容量とコンピューティング リソースを設定します。
(4) 事前定義されたパイプライン構成を YAML ファイル形式で構成できるようになるようです。
# 対象リージョン
Opensearchが利用できる13リージョンでGAになっています。
・US East (Ohio)
・US East (N. Virginia)
・US West (Oregon)
・US West (N. California)
・Europe (Ireland)
・Europe (London)
・Europe (Frankfurt)
・Asia Pacific (Tokyo)
・Asia Pacific (Sydney)
・Asia Pacific (Singapore)
・Asia Pacific (Mumbai)
・Asia Pacific (Seoul)
・Canada (Central)
