Bỏ qua tới nội dung
CloudDojo
Lab · Diễn tập sự cố

Lưu lượng tăng 8 lần khi mở bánTraffic jumps eightfold at a product launch

10:00, MFTECH mở bán một mẫu điện thoại mới. Lưu lượng tăng 8 lần trong 10 phút; trang tải chậm và một phần khách hàng gặp lỗi.10:00, MFTECH opens sales of a new phone. Traffic grows eightfold in 10 minutes; pages are slow and some customers get errors.

Độ trễ p953,1 sbình thường 180 ms
Tỉ lệ lỗi 5xx12%bình thường dưới 0,5%
CPU của RDS96%bình thường 35%

Tầng web

  • Auto Scaling group · 4 instance, đang thêm 6quá tải
  • Instance mới cần 6 phút để sẵn sàngđang xử lý

Tầng dữ liệu

  • RDS primary · 85% truy vấn là đọc trang sản phẩmquá tải
  • Gửi email xác nhận · gọi đồng bộ khi thanh toánbình thường

Dòng thời gian

  1. T+00:00 Mở bán; lưu lượng tăng từ 1.200 lên 9.600 request mỗi giây
  2. T+02:00 Target tracking policy bắt đầu thêm instance

T+05:00 Quyết định 1/3

CPU của RDS 96%, phần lớn là truy vấn đọc thông tin sản phẩm giống nhau. Một read replica đã có sẵn nhưng ứng dụng chưa dùng.

Bạn giảm tải cho database thế nào?