Placement group, enhanced networking và EFA cho workload hiệu năng cao
Một số workload cần các instance đặt thật gần nhau để đạt độ trễ mạng thấp nhất, số khác lại cần tách rời nhau để một sự cố phần cứng không ảnh hưởng nhiều instance.
Khi không chỉ định placement group, EC2 tự trải các instance trên phần cứng để giảm sự cố đồng thời. Placement group cho phép chủ động chọn: đặt các instance sát nhau để có độ trễ thấp nhất, hoặc tách rời để một sự cố phần cứng không ảnh hưởng nhiều instance. Chọn workload và placement strategy, sau đó nhấn vào một rack để mô phỏng rack đó gặp sự cố:
8 node chạy mô phỏng dự báo tồn kho, trao đổi dữ liệu liên tục với nhau (tightly coupled). Yêu cầu chính: độ trễ mạng thấp nhất và thông lượng cao giữa các node.
Nhấn vào một rack để mô phỏng sự cố phần cứng (nguồn điện hoặc mạng của rack); nhấn lại để khôi phục.
Cluster placement group đặt các instance gần nhau trong một AZ, trên cùng phân đoạn mạng high-bisection bandwidth: phù hợp cho giao tiếp node-to-node của HPC. Đánh đổi: một sự cố phần cứng có thể ảnh hưởng nhiều node cùng lúc.
Số rack và vị trí instance trong hình là minh hoạ. Theo tài liệu AWS, mức single-flow 10 Gbps (trong cluster) và 5 Gbps (ngoài cluster) áp dụng cho instance bật enhanced networking. Tạo placement group không tính phí.
Placement group chỉ quyết định vị trí. Hiệu năng mạng còn phụ thuộc thiết bị mạng của instance và các tuỳ chọn khi launch. Đội HPC của MFTECH cân nhắc từng tuỳ chọn sau:
EFA cung cấp OS-bypass và giao thức truyền tin cậy Scalable Reliable Datagram (SRD), tăng hiệu năng giao tiếp giữa các instance cho HPC và ML. Kiểu EFA with ENA tạo đồng thời thiết bị EFA và thiết bị ENA cho mạng IP thông thường. Dùng kết hợp với cluster placement group.
- Độ trễ thấp nhất cho HPC tightly coupled: cluster placement group (1 AZ) + EFA.
- Hệ phân tán có replicate quy mô lớn (HDFS, HBase, Cassandra, Kafka): partition placement group (tối đa 7 partition mỗi AZ, các partition không dùng chung rack).
- Số ít instance quan trọng cần tách biệt: spread placement group (tối đa 7 instance đang chạy mỗi AZ mỗi group).
- Enhanced networking: ENA; HPC/ML với OS-bypass: EFA; card mạng ảo chuyển được giữa các instance: ENI.
- Capacity Reservation và Dedicated Instances không tăng hiệu năng; Elastic Inference đã ngừng.
Placement groups, enhanced networking and EFA for high-performance workloads
Some workloads need instances placed very close together for the lowest network latency; others need them kept apart so one hardware failure does not hit many instances.
Without a placement group, EC2 spreads instances across the underlying hardware to minimize correlated failures. A placement group lets you choose: place instances close together for the lowest latency, or apart so one hardware failure does not affect many instances. Pick a workload and a placement strategy, then press a rack to simulate a failure of that rack:
8 node chạy mô phỏng dự báo tồn kho, trao đổi dữ liệu liên tục với nhau (tightly coupled). Yêu cầu chính: độ trễ mạng thấp nhất và thông lượng cao giữa các node.
Nhấn vào một rack để mô phỏng sự cố phần cứng (nguồn điện hoặc mạng của rack); nhấn lại để khôi phục.
Cluster placement group đặt các instance gần nhau trong một AZ, trên cùng phân đoạn mạng high-bisection bandwidth: phù hợp cho giao tiếp node-to-node của HPC. Đánh đổi: một sự cố phần cứng có thể ảnh hưởng nhiều node cùng lúc.
Số rack và vị trí instance trong hình là minh hoạ. Theo tài liệu AWS, mức single-flow 10 Gbps (trong cluster) và 5 Gbps (ngoài cluster) áp dụng cho instance bật enhanced networking. Tạo placement group không tính phí.
A placement group only decides where instances go. Network performance also depends on the instance’s network devices and launch options. MFTECH’s HPC team weighs each of these options:
EFA provides OS-bypass and the Scalable Reliable Datagram (SRD) reliable transport, improving inter-instance communication for HPC and ML. An EFA with ENA interface creates both an EFA device and an ENA device for regular IP networking. Use it together with a cluster placement group.
- Lowest latency for tightly coupled HPC: cluster placement group (single AZ) + EFA.
- Large distributed and replicated workloads (HDFS, HBase, Cassandra, Kafka): partition placement group (up to 7 partitions per AZ; partitions do not share racks).
- A small number of critical instances that must be kept apart: spread placement group (up to 7 running instances per AZ per group).
- Enhanced networking: ENA; HPC/ML with OS-bypass: EFA; a virtual network card that moves between instances: ENI.
- Capacity Reservations and Dedicated Instances do not improve performance; Elastic Inference is retired.