Một AZ ngừng hoạt động giữa giờ cao điểmAn AZ goes down at peak time
20:14, giữa đợt khuyến mãi. Một nửa số EC2 instance của tầng web không còn phản hồi, và RDS primary nằm trong AZ bị ảnh hưởng.20:14, in the middle of a sale. Half the web tier's EC2 instances stop responding, and the RDS primary is in the affected AZ.
Tỉ lệ lỗi 5xx38%bình thường dưới 0,5%
Độ trễ p952,4 sbình thường 180 ms
Đơn hàng mỗi phút74trước sự cố 120
AZ ap-southeast-1a
- EC2 × 2 · không phản hồi health checkngừng hoạt động
- RDS primary · không truy cập đượcngừng hoạt động
AZ ap-southeast-1b
- EC2 × 2 · CPU 92%quá tải
- RDS standby · đang nhận vai trò primaryđang xử lý
Dòng thời gian
- T+00:00 ALB đánh dấu 2 target ở AZ 1a là không khỏe và ngừng gửi request tới chúng
- T+01:10 RDS Multi-AZ bắt đầu chuyển sang standby ở AZ 1b
T+02:00 Quyết định 1/3
Hai instance còn lại ở AZ 1b gánh toàn bộ lưu lượng, CPU 92%. AZ 1a suy giảm một phần (gray failure): EC2 vẫn khởi chạy được instance ở đó nên Auto Scaling group (desired capacity 4) thay instance hỏng ngay trong AZ 1a, và các instance mới này cũng không vượt qua health check.