Shared file system cũng cần được điều chỉnh khi tải thay đổi, khi dữ liệu ít được truy cập dần và khi phải kiểm soát quyền truy cập.

Sau khi triển khai Amazon EFS, MFTECH cần giải quyết các vấn đề vận hành: điều chỉnh performance mode và throughput mode khi tải lớn, tối ưu chi phí lưu trữ tệp cũ, và kiểm soát quyền mount. Chọn từng tình huống:

Bursting throughput cho throughput tỉ lệ với dung lượng dữ liệu ở lớp Standard: baseline 50 KiBps mỗi GiB, burst tới 100 KiBps mỗi GiB (tối thiểu 100 MiBps) khi còn credit. Burst credit tích luỹ khi tải thấp hơn baseline, tối đa 2,1 TiB (file system dưới 1 TiB) hoặc 2,1 TiB cho mỗi TiB. Dữ liệu đã chuyển sang IA không được tính vào baseline. Mô phỏng thư mục ảnh sản phẩm khi có đợt nhập hàng loạt:

Về performance mode: tài liệu ôn tập cũ thường chọn Max I/O cho job big data chạy song song. Hướng dẫn hiện hành của AWS (Amazon EFS performance specifications) xếp Max I/O vào thế hệ trước, có độ trễ mỗi thao tác cao hơn, và khuyến nghị General Purpose cho mọi file system, kết hợp Elastic throughput cho tải biến động. MFTECH áp dụng cấu hình hiện hành này.

Team gợi ý sản phẩm của MFTECH chạy Lambda function trong VPC, cần đọc bộ dữ liệu trên EFS thuộc account của một đối tác dữ liệu. Lambda mount EFS qua access point; dựng cấu hình theo từng bước:

Các lưu ý khác khi Lambda chạy trong VPC (truy cập Internet, NAT gateway): xem bài Lambda.

A shared file system also needs tuning as load changes, as data is accessed less often and when access must be controlled.

After deploying Amazon EFS, MFTECH has operational issues to solve: adjusting the performance mode and throughput mode under heavy load, optimizing the cost of storing old files, and controlling who can mount. Choose each scenario:

Bursting throughput scales with the amount of data in the Standard class: a baseline of 50 KiBps per GiB, bursting to 100 KiBps per GiB (at least 100 MiBps) while credits last. Burst credits accrue while the load is below the baseline, up to 2.1 TiB (file systems under 1 TiB) or 2.1 TiB per TiB stored. Data moved to IA does not count toward the baseline. Simulate the product image folder during a bulk catalog import:

On performance modes: older study material often picks Max I/O for parallel big data jobs. Current AWS guidance (Amazon EFS performance specifications) lists Max I/O as previous generation with higher per-operation latency, and recommends General Purpose for all file systems, with Elastic throughput for spiky workloads. MFTECH uses this current configuration.

MFTECH’s recommendation team runs a Lambda function in a VPC that must read a dataset on an EFS file system owned by a data partner’s account. Lambda mounts EFS through an access point; build the setup step by step:

For other considerations when Lambda runs in a VPC (internet access, NAT gateway), see the Lambda lesson.