Tải của website thay đổi theo giờ, theo ngày và theo sự kiện; scaling policy cần phù hợp với dạng tải để capacity không thiếu cũng không thừa.

Website MFTECH có nội dung động thay đổi liên tục, cache không thể tiếp nhận toàn bộ tải, do đó cần bổ sung instance khi lượng truy cập tăng. Tuy nhiên, thời điểm scale out phụ thuộc vào dạng tải. Chọn một ngày vận hành của MFTECH, chọn scaling policy, sau đó chạy mô phỏng cả ngày để xác định các khung giờ người dùng phải chờ:

Container được scale theo cơ chế tương tự. Khi ECS service quá tải CPU, kích hoạt Service Auto Scaling để tăng số task. Khi pod trên EKS ở trạng thái Pending do cluster hết tài nguyên, Cluster Autoscaler điều chỉnh desired capacity của EC2 Auto Scaling group để tăng số node (Karpenter là lựa chọn khác được tài liệu EKS mô tả).

Website load changes by hour, by day and with events; the scaling policy must match that load pattern so capacity is neither too low nor too high.

The MFTECH website has dynamic content that changes constantly and a cache cannot absorb all the load, so instances must be added when traffic rises. However, when to scale out depends on the load pattern. Pick a day of MFTECH operations, choose a scaling policy, then run the simulation for the whole day to find the hours when users have to wait:

Containers scale in a similar way. When an ECS service is CPU-bound, turn on Service Auto Scaling to increase the number of tasks. When pods on EKS are in the Pending state because the cluster is out of resources, Cluster Autoscaler adjusts the desired capacity of the EC2 Auto Scaling group to add nodes (Karpenter is another option described in the EKS documentation).