Tối ưu chi phí lưu trữ data lake trên S3
Data lake lớn lên mỗi ngày; nếu không có S3 Lifecycle policy theo thời gian, chi phí sẽ tăng liên tục dù phần lớn dữ liệu cũ hiếm khi được dùng.
Data lake của MFTECH được chia thành hai zone. Raw zone lưu dữ liệu gốc ở trạng thái như khi tiếp nhận. Refined zone lưu dữ liệu đã được Glue làm sạch để analyst truy vấn. Mỗi zone tăng thêm 1 TB mỗi ngày. Chọn phương án lưu trữ, sau đó mô phỏng một năm:
Mỗi zone tăng thêm 1 TB mỗi ngày. Raw zone phải được lưu giữ 5 năm và gần như không được đọc lại. Refined zone được analyst truy vấn bằng Athena hằng ngày.
Chọn phương án lưu trữ cho từng zone, sau đó nhấn Mô phỏng 12 tháng. Mô phỏng dùng đơn giá minh hoạ (Deep Archive rẻ hơn nhiều so với S3 Standard) và giả định Parquet nén có dung lượng bằng 1/4 CSV. Giá thực tế xem tại trang S3 pricing.
Khi data lake cần thêm một bản sao tại Region khác phục vụ disaster recovery:
- Bật S3 Cross-Region Replication (CRR) trên bucket. CRR chỉ sao chép các object được ghi sau khi bật; object đã tồn tại cần dùng S3 Batch Replication. Triển khai từ đầu với bucket mới là phương án đơn giản nhất.
- Mã hoá bằng SSE-KMS với multi-Region key: multi-Region key có replica key tại Region còn lại với cùng key material, do đó dữ liệu tại cả hai nơi sử dụng cùng một bộ key và cùng cấu hình quyền.
- Athena truy vấn được tại Region có dữ liệu.
- Dữ liệu gốc phải lưu giữ nhưng hiếm khi đọc: S3 Lifecycle chuyển sang S3 Glacier Deep Archive.
- Dữ liệu còn được truy vấn: giữ ở storage class truy xuất ngay, ghi ở định dạng cột có nén (Parquet).
- Athena không đọc được dữ liệu trong S3 Glacier Deep Archive khi chưa restore.
Optimizing data lake storage cost on S3
A data lake grows every day; without an S3 Lifecycle policy over time, costs keep rising even though most old data is rarely used.
MFTECH’s data lake is split into two zones. The raw zone stores the original data as it was received. The refined zone stores data that Glue has cleaned for analysts to query. Each zone grows by 1 TB a day. Choose a storage option, then simulate one year:
Mỗi zone tăng thêm 1 TB mỗi ngày. Raw zone phải được lưu giữ 5 năm và gần như không được đọc lại. Refined zone được analyst truy vấn bằng Athena hằng ngày.
Chọn phương án lưu trữ cho từng zone, sau đó nhấn Mô phỏng 12 tháng. Mô phỏng dùng đơn giá minh hoạ (Deep Archive rẻ hơn nhiều so với S3 Standard) và giả định Parquet nén có dung lượng bằng 1/4 CSV. Giá thực tế xem tại trang S3 pricing.
When the data lake needs another copy in a different Region for disaster recovery:
- Enable S3 Cross-Region Replication (CRR) on the bucket. CRR replicates only objects written after it is enabled; existing objects need S3 Batch Replication. Starting from scratch with a new bucket is the simplest option.
- Encrypt with SSE-KMS using a multi-Region key: the multi-Region key has a replica key in the other Region with the same key material, so the data in both places uses the same set of keys and the same permission configuration.
- Athena can query in the Region that holds the data.
- Original data that must be retained but is rarely read: an S3 Lifecycle transition to S3 Glacier Deep Archive.
- Data that is still queried: keep it in a storage class with immediate access, written in a compressed columnar format (Parquet).
- Athena cannot read data in S3 Glacier Deep Archive until it is restored.