こんばんは、小寺です。Amazon Timestreamでユーザが定義したパーティションキーがサポートされました。
Amazon Timestreamとは時系列特化のデータベースです。
Amazon Timestream は、高速かつスケーラブルなサーバーレス時系列データベースサービスです。1 日あたり数兆件規模のイベントを最大 1,000 倍の速度でより簡単に保存および分析できます。
時系列特化とは
時系列データベースは時系列データセットの特性に特化し、汎用データベースに比べてストレージ性能やクエリー性能を大幅に向上させています。
IoT デバイスや IT システムの普及や、産業機器のスマート化により、時系列データ (時間の経過に伴うモノの変化を記録したデータ) は、急速に増加しているデータ型です。
Amazon Timestreamの特長
・サーバーレス自動スケーリング アーキテクチャ
Amazon Timestream は、データの取り込み、ストレージ、クエリを個別にスケーリングできる完全に疎結合な構成です。
アプリケーションのニーズに合わせて事実上無限のスケールにオートスケールできます。 Amazon Timestream の場合、サーバーレスなので、インフラストラクチャを管理したり、容量をプロビジョニングしたりする必要がありません。
データの取り込みとクエリはワークロードに基づいて自動スケールされます。
・データストレージの階層化
直近のデータ用のメモリ ストアと履歴データ用の磁気データストアの2種類があります。メモリ ストアは高速なポイントインタイム クエリ用に最適化がされています。
データ保持ポリシーを定義しておけば、データをメモリ ストアから磁気ストアに自動的に移動できます。一定の保持期間に達したときに磁気ストアから自動的に削除することができます。
・専用のクエリエンジン
専用の適応クエリ エンジンを使用すると、単一の SQL ステートメントを使用してストレージ層全体のデータにアクセスできます。
・暗号化がサポート
データは自動的に暗号化されるため、保存中または転送中のデータを手動で暗号化する必要はありません。
磁気ストア内のデータを暗号化するための AWS KMS カスタマー管理キー (CMK) を指定することもできます。
・他のサービスとの連携
AWS IoT Core、Amazon Kinesis、Amazon MSK、オープンソース Telegraf を使用して、Amazon Timestream にデータを送信できます。 Amazon QuickSight、Grafana、JDBC 経由のBIサービスを使用してデータの視覚化もできます。
・ハイパフォーマンスでコスト効率が良い
クエリを定期的かつ自動的に実行し、結果を構成可能な宛先テーブルに確実に書き込みます。その後、ダッシュボード、レポート、アプリケーション、監視システムをポイントして、受信時系列データを含むかなり大きなソース テーブルをクエリする代わりに、宛先テーブルのみをクエリすることができます。
コストを大幅に削減しながらパフォーマンスが向上します。宛先テーブルに含まれるデータはソース テーブルよりもはるかに少ないため、より高速かつ低コストで利用ができます。
どんなときに利用できるの？
・IoT アプリケーション
IoTデバイスによって生成される時系列データを分析
スマートホームで室温が落ちたら自動的に通知をする・エアコンを付けるなど。
・DevOps アプリケーション
CPU やメモリの使用率をモニタリングし、インスタンスの使用量を最適化する。 異常を迅速に特定し、問題を解決する
・分析アプリケーション
データを平滑化、近似、補間、集計などによってデータを処理する
アップデート内容
Amazon Timestream は、利用者が定義したパーティション キーのGAを発表しました。
利用者のニーズに基づいてデータを分割できるさらなる柔軟性が出ましたね。クエリのレイテンシーを短縮するためにデータのコロケーションを最適化します。
テーブルの作成時にデータのパーティション化に使用する属性の定義ができるようになっています。
Timestreamがデータ ストレージを最適化してデータを効果的に取得し、クエリのパフォーマンスを向上させます。
確認してみる
データベースを作ってみます。
サンプルDBを作ってみます。データセットはIoTかDevOpsかを選べます。
パーティションキーの設定については、 Schema settings で設定ができます。
まとめ
Amazon Timestreamのパーティションキーのサポートについてお伝えしました。