こんばんは、小寺です。
Amazon QuickSightでSPICEデータセットのテーブルサイズ制限が1GBから20GBにアップされました。
https://aws.amazon.com/about-aws/whats-new/2024/07/amazon-quicksight-20x-higher-limit-spice-join/
アップデート内容
SPICEデータセットのテーブルサイズ制限が1GBから20GBにアップされました。
SPICE (Super-fast, Parallel, In-memory Calculation Engine) は、QuickSightで利用できるインメモリエンジンです。
リージョン毎に容量が割り当てられ、ホーム AWS リージョンにデフォルトの SPICE 容量が自動的に割り当てられます。
SPICEの容量そのものは追加購入をすることができます。SPICE 自動キャパシティ購入を有効化しておけば、AWSでQuickSight アカウントのSPICEキャパシティの自動管理を行うことも可能です。
SPICE のデータセットのサイズは、「論理サイズ」と呼ばれていて、 データセットのソースファイルまたはテーブルのサイズとイコールではないです。論理サイズの計算は、データの準備中に定義したすべてのデータ型変換後に行われます。容量制限があることを知らなかった場合、一見してみると、かなりの容量取り込めそうですよね。
本アップデート前までは、まざまなソースからテーブルを結合する場合、セカンダリ テーブルも合わせて1GB 未満にする必要がありました。このアップデートで20GBまで容量がアップしています!
アップデートのメリット
やはり、データ取り込み前の前処理が簡易化できる点かと思います。大容量のデータを扱いたい場合、データ取り込み前に処理を行い分割するなどの手を加える必要がありました。
今までの20倍の容量で SPICE テーブルへデータ取り込みができるので、可視化したいデータの前準備が強化された点がアップデートのメリットですね。
SunnyCloudでは、Amazon QuickSightの「サービスデリバリープログラム」認定を日本国内で初めて取得しました。(こちらの記事をご参照ください)
このサービスデリバリープログラムの認定は、株式会社アイディーエスが提供しているAWS導入支援サービスである「サニークラウド(Sunny Cloud)」において、AWSのデータ分析サービスである「Amazon QuickSight」の導入実績や技術力が評価されたもので、日本のAWSパートナーネットワーク(以下、APN)のコンサルティングパートナーとしては初めての認定取得です。
ぜひ、データ分析に興味のある方はこちらまでお問い合わせください!