こんにちわ。プロフェッショナルサービス事業部の小松です。
AWS Glueでジョブがキューイングに対応したというアップデートが発表されていました。
https://aws.amazon.com/jp/about-aws/whats-new/2024/09/aws-glue-job-queuing/

アップデート内容

これまでAWS Glueでは、サービスクオータの制限に抵触した場合やVPCのIPアドレスの枯渇が発生した場合、Glueジョブは即座に失敗する仕様となっていました。
例えば、リージョンあたりの同時ジョブ実行数はデフォルトで2000に設定されています。よって、2001個目のジョブが起動された場合はその時点で実行に失敗していました。

今回のアップデートにより、サービスクオータの制限に引っかかったり、IPアドレスの枯渇に遭遇した場合は、自動的にジョブをキューイングして待ち状態にすることができます。そして制限が解除・緩和されると待機しているジョブが再試行される仕組みになります。

設定方法

新しくジョブを作成する場合、マネジメントコンソールのオプションとして有効化することができるようになっています。

既存のジョブについてキューイングを有効にする場合は、Job detailsの中に有効化するチェックボックスが用意されています。

また、AWS CLIによる設定も可能になっているようです。

まとめ

今回のアップデートにより、Glueをゴリゴリ使っている環境において、クオータ制限による不慮のインシデントを回避できるようになりそうです。ただし、キューイングによって待ち時間が発生する可能性があるため、実行タイミングをシビアに管理しないといけない環境では別途考慮が必要になりそうです。

CloudWatchメトリクスなどでキューの中にあるジョブ数などが監視できるようになるとさらに使いやすそうですね。期待しましょう！