おはようございます。小寺です。
Amazon Kinesis Data Firehoseが名称変更で「Amazon Data Firehose」になりました。
認定試験などで慣れ親しんだ名前が変わってしまうの、少し寂しいですね・・
https://aws.amazon.com/about-aws/whats-new/2024/02/amazon-data-firehose-formerly-kinesis-data-firehose/
名称変更に伴って何が変わるの？
名称変更はAWS マネジメントコンソール、オフィシャルドキュメント、サービス用ページに反映されます。気になるアイコンはぱっと見は変わっていなさそうです。
今日の記事を執筆時点の2月11日時点では、日本語では反映されていませんが、Amazon Data Firehoseにサービス用ページは反映されていますね。
コンソール画面は日本語表示でも変更になっていました。
結論からいうと特に名前の変更だけで変わることはなさそうですね。
サービスエンドポイント、API、AWS コマンドラインインターフェイス (AWS CLI)、AWS Identity and Access Management (IAM) アクセスポリシー、Amazon CloudWatch メトリクスなど、その他の変更はありません。もちろん、既存のアプリケーションは変わらず動作が保証されています。
Amazon Data Firehoseとは
ここで、改めて復習です。Amazon Data Firehoseとは、リアルタイムのストリーミングデータをS3やRedShift、Elasticsearchなどのデータストア、分析ツールに配信することができるマネージドサービスです。
主な配信先
複数のデータ送信先をサポートしています。
・Amazon Simple Storage Service (Amazon S3)
・Amazon Redshift
・Amazon OpenSearch Service
・Amazon OpenSearch Serverless
サポートされているサードパーティーのサービスプロバイダーが所有する HTTP エンドポイント
・Splunk
・Datadog
・Dynatrace
・LogicMonitor
・MongoDB
・New Relic
・Coralogix
・Elastic
主な概念
- 配信ストリーム(Delivery Stream)
- データ配信の単位
- Kinesis Data Firehose 配信ストリームを作成 して、配信ストリーム宛にデータを送ることで利用する
- データプロデューサー
- Kinesis Data Firehose へのデータの送信元
- 例を挙げると配信ストリームにログデータを送信するウェブサーバーはデータプロデューサー
- バッファサイズ/バッファ間隔
- Kinesis Data Firehose が送信元から送信先にデータを配信するまでのバッファのサイズ
- バッファサイズはMB単位
- バッファ間隔は秒単位
Amazon S3 を送信先とし、データプロデューサーは何等かのログファイルと仮定します。 ストリーミングデータは S3 バケットに配信されます 。
Amazon Data Firehoseでできること
自動暗号化オプション
送信先にアップロードされたデータを自動的に暗号化するオプションが用意されています。配信ストリーム設定の一部として、AWS Key Management System (KMS) 暗号化キー を利用できます。
データ形式の変換を行うことができる
データを配信先のAmazon S3に保管する前に、コンソールでデータ形式の変換を有効にすることができます。データ形式の変換が有効になっている場合、ストリームに設定できる宛先は Amazon S3 だけです。また、形式変換を有効にすると、Amazon S3 圧縮は無効になります。
パフォーマンスのモニタリングもできる
パフォーマンスのモニタリング用メトリクスがサポートされています。 送信されたデータ量、送信先にアップロードされたデータ量、送信元から送信先までの時間、配信ストリーム制限、調整された記録の数、アップロード成功率などがあります。
メトリクスを活用することにより、正常に処理が完了したことを確認してから、後処理を行うことができます。
