Một số ứng dụng cũ chỉ biết đọc ghi file trong thư mục, trong khi dữ liệu lại nằm trên S3; cần một lớp chuyển đổi để ứng dụng dùng được dữ liệu đó mà không phải viết lại.

Team dữ liệu MFTECH lưu toàn bộ ảnh sản phẩm và dữ liệu huấn luyện mô hình gợi ý trên S3. Một số ứng dụng cũ chỉ đọc ghi tệp, không gọi S3 API. Mountpoint for Amazon S3 là file client mã nguồn mở, mount bucket thành thư mục cục bộ trên Linux và chuyển thao tác tệp (open, read) thành lời gọi S3 API. Mountpoint không phải file system POSIX đầy đủ: chạy thử các thao tác thường gặp trên Mountpoint và trên EFS:

Mountpoint phù hợp với ứng dụng đọc nhiều trên quy mô lớn: data lake, huấn luyện machine learning, render ảnh, ETL. Mountpoint đọc được object ở mọi storage class trừ S3 Glacier Flexible Retrieval, S3 Glacier Deep Archive và hai tier Archive của S3 Intelligent-Tiering. Khi đọc lặp lại cùng một dữ liệu, có thể bật cache cục bộ (instance storage hoặc EBS) hoặc shared cache trên S3 Express One Zone. Với workload cần POSIX đầy đủ trên dữ liệu S3, AWS khuyến nghị FSx for Lustre liên kết với bucket. Chọn file interface cho từng tình huống:

Amazon S3 Files là file system dùng chung, xây dựng trên Amazon EFS, liên kết với một bucket hoặc một prefix: ứng dụng đọc ghi tệp với đầy đủ ngữ nghĩa file system, còn S3 Files tự đồng bộ thay đổi giữa file system và bucket. S3 file system mount được trên EC2, Lambda, và được khai báo làm volume (s3filesVolumeConfiguration) cho ECS task trên Fargate, ECS Managed Instances và EC2; bắt buộc có task IAM role và mã hoá khi truyền. Tài liệu ôn tập cũ khẳng định “S3 không mount được như file system”; với S3 Files, dữ liệu S3 mount được qua một tài nguyên file system riêng, nhưng bucket vẫn không phải loại volume để gắn thẳng vào task. Với microservice cần thư mục POSIX dùng chung giữa nhiều AZ mà dữ liệu không cần nằm trong S3, EFS vẫn là phương án trực tiếp nhất.

Some older applications can only read and write files in folders while the data lives in S3; they need a translation layer to use it without being rewritten.

The MFTECH data team keeps all product images and the recommendation model’s training data in S3. Some older applications only read and write files and cannot call the S3 API. Mountpoint for Amazon S3 is an open source file client that mounts a bucket as a local directory on Linux and translates file operations (open, read) into S3 API calls. Mountpoint is not a fully POSIX file system: try common operations on Mountpoint and on EFS:

Mountpoint suits large-scale, read-heavy applications: data lakes, machine learning training, image rendering, ETL. It can read objects in every storage class except S3 Glacier Flexible Retrieval, S3 Glacier Deep Archive and the two Archive tiers of S3 Intelligent-Tiering. For repeated reads of the same data you can opt in to a local cache (instance storage or EBS) or a shared cache in S3 Express One Zone. For workloads that need full POSIX support on S3 data, AWS recommends FSx for Lustre linked to the bucket. Choose a file interface for each situation:

Amazon S3 Files is a shared file system, built using Amazon EFS, linked to a bucket or a prefix: applications read and write files with full file system semantics, and S3 Files synchronizes changes between the file system and the bucket. An S3 file system can be mounted on EC2 and Lambda, and declared as a volume (s3filesVolumeConfiguration) for ECS tasks on Fargate, ECS Managed Instances and EC2; a task IAM role and encryption in transit are mandatory. Older study material states that “S3 cannot be mounted as a file system”; with S3 Files, S3 data can be mounted through a separate file system resource, but the bucket itself is still not a volume type you attach to a task. For microservices that need a shared POSIX directory across AZs and whose data does not need to live in S3, EFS remains the most direct option.