こんにちは。小寺です。
OSSのファイルクライアント「Mountpoint for Amazon S3」利用されていますか。
今日のアップデートでMountpointo for Amazon S3のアップデートとしてファイルの書き込みをサポートしました。
https://aws.amazon.com/about-aws/whats-new/2023/06/mountpoint-amazon-s3-creating-new-files/
Mountpoint for Amazon S3とは
Amazon S3で高スループットのアクセスを実現するOSSのファイルクライアントです。
https://github.com/awslabs/mountpoint-s3
他のファイルシステムとしてS3を表示するクライアントとしては、すでにGoofysやs3fsといったFUSE経由でバケットをマウントするオープンソースのツールがありますよね。
Mountpoint for Amazon S3 は、ローカルファイルシステム APIコールを GETやLISTなどの S3 オブジェクト API 呼び出しに変換します。
ファイルのランダム読み取りオペレーションとシーケンシャル読み取りオペレーション、およびファイルとディレクトリの一覧表示を行うことができます。
2023年3月のリリース時のサポート OS は Linux のみで読み込み操作専用です。
一度バケットをマウントしてしまえば、ローカルファイルシステムと同様に扱うことができます。
アップデート内容
「Mountpoint for Amazon S3」のアルファ版は書き込み(PUT)をサポートしておらず、アルファ版のリリース時から新しいオブジェクトへのシーケンシャルな書き込みについては、機能追加として期待されていました。
今回のアップデートにより、既存のファイルに対するシーケンシャルおよびランダム読み取り操作に加えて、新しいファイルを作成するためのシーケンシャル書き込み操作がサポートされるようになりました。
ユースケース
大規模なデータセット (テラバイトからペタバイトのサイズ) を読み取り、単一のプロセスまたはスレッドからファイルに順次書き込むワークロードに最適です。
例えば、メディア アプリケーションでのレンダリングとトランスコーディングだけでなく、機械学習トレーニングなども想定しています。
今後のアップデート予定
アップデート要望や予定を確認することができます。
https://github.com/orgs/awslabs/projects/84/views/1
GitHub でのリリースと公開ロードマップが、将来何を計画しているのかを理解されると幸いですとのことで、皆様からのフィードバックに基づきオープンソース プロジェクトとして Mountpoint を迅速にアップデートしていく予定とのことでした。
S3 ワークロードがMountpointで実行されるのを楽しみにしています。