みなさん、こんにちは。サニービュー事業部の小寺です。
AWSより2023年3月9日(予定)にEngine Version 2から3へ自動アップレグレードとなる通知がありました。Engine Version 3への移行がまだな方にとってはある程度の影響が予想されるため、改めてお知らせさせていただきます。
Athenaのバージョンって?
Amazon Athenaにはクエリエンジンにバージョンという概念があります。2022年10月にエンジンバージョン3がリリースされています。
バージョンアップ時にはバグ修正や機能追加・パフォーマンス向上などいくつかのアップデートがあり、Version1が廃止されたため、今はVersion 2 とVersion3が存在していて、既にVersion3をご利用されている方もいるかと思います。
現行のバージョンの確認方法
今、使っているバージョンは以下の方法で確認ができます。
(1)Athenaコンソールでの確認
Athenaコンソールより「管理」⇒「ワークグループ」というメニューをクリックすると、ワークグループの一覧を確認できます。
分析エンジンで「Athena engine version 2」となっているものが今回のアップデート対象となります。
(2)Personal Health Dashboardの通知
アップデートについては、Personal Health Dashboardから通知がきます。
エンジンバージョン2と3の違いについて
バージョン3での変更点について詳細はこちら。
主な内容としては、50 を超える新しい SQL 機能、30 の新機能、そして 90 以上のクエリパフォーマンス向上などが含まれています。そもそものAthena 自体の改善点と、オープンソースの Trino から組み込まれた機能性の改善点が含まれています。
主な違いとしてはバージョン3からはApache Spark バケットアルゴリズムがサポートされるようになっています。
パフォーマンスの具体的な向上としては、AWS Glue テーブルメタデータの取得が高速化され、RIGHT JOINに対しての動的フィルタリングもできるようになっています。
制約事項としては、以下が挙げられます。
・クエリパフォーマンス
Athena エンジンバージョン 3 ではクエリの多くが高速に実行されますが、一部のクエリ計画は Athena エンジンバージョン 2 とは異なる場合があります。その結果、一部のクエリではレイテンシーやコストが異なる場合があります。
・Trino および Prestoコネクタ
Trino コネクタも Presto コネクタもサポートされていません。データソースの接続には Amazon Athena の横串検索を使用します。詳しくは、「Amazon Athena 横串検索の使用」を参照してください。
・フォールトトレラントの実行
Trino フォールトトレラントの実行 (Trino Tardigrade) はサポートされていません。
どのようにアップデートを進めればよい?
通知された自動アップグレード日までに早めの動作確認を推奨します!現在のアプリケーションやクエリがEngine Version 3で動作することをご確認ください。Engine Version 3の改善点については、各ドキュメント等の確認もお願いいたします。