Presentation: Chaos Engineering GPU Clusters

KẾT LUẬN

Bài trình bày của Bryan Oliver (Thoughtworks) lập luận rằng các cụm GPU quy mô lớn cho AI/ML đã đạt đến mức độ phức tạp vượt xa hạ tầng truyền thống, đòi hỏi phải áp dụng Chaos Engineering để kiểm thử khả năng phục hồi — từ lỗi GPU, suy giảm hiệu năng mạng RDMA/InfiniBand, đến thermal throttling và sai lệch NUMA.

LUẬN ĐIỂM CHÍNH

• GPU cluster cho AI training/inference có độ phức tạp vượt trội so với hạ tầng truyền thống: một rack GB200 Grace Blackwell có giá ~3 triệu USD, 72 GPU với 13-14TB VRAM ảo hóa thành một GPU duy nhất
• Topology-aware scheduling là yếu tố sống còn: đặt workload trên các GPU liền kề vật lý (cùng node, cùng rack) mang lại cải thiện Allreduce latency tới 46% (20ms vs 40ms) so với triển khai mặc định
• GPU không đồng nhất về hiệu năng dù cùng model — biến thiên (variability) do nhiệt, nguồn điện, quy trình sản xuất khiến 100 GPU giống hệt nhau vẫn có performance khác nhau, đòi hỏi variability-aware scheduling
• Cần đưa Chaos Engineering vào GPU cluster để kiểm thử các failure mode đặc thù: lỗi XID, đứt kết nối NVLink/RDMA, thermal throttling (90+ cảm biến nhiệt/H100), lỗi ECC memory, và sai lệch NUMA có thể giảm 40% hiệu năng

LUẬN ĐIỂM PHỤ

• RDMA và InfiniBand bỏ qua hoàn toàn kernel OS khiến việc quan sát (observability) gặp khó khăn — cần eBPF hooks tùy chỉnh mới thấy được traffic
• Kubernetes đang thay thế Slurm làm nền tảng quản lý GPU cluster nhờ khả năng resilient scheduling, nhưng cần custom scheduler plugins cho topology-awareness
• Asynchronous snapshotting là giải pháp bắt buộc để tránh lãng phí 10% utilization do synchronous checkpoint — mỗi checkpoint tốn ~1 phút trên model 100GB

LUẬN CỨ & VÍ DỤ

• Khởi nguồn GPU cluster: năm 2004, nhóm Stony Brook University đạt hiệu năng 100x khi chạy mô phỏng Lattice Boltzmann trên 30 GPU node thay vì CPU cluster — 0.31s/step, nhanh gấp 4.6 lần, trước cả khi CUDA ra đời (2006)
• Ví dụ cụ thể về topology impact: Allreduce job triển khai trên 8 GPU cùng node đạt tốc độ NVLink 600Gbps, nhưng khi triển khai cross-rack tốc độ tụt xuống chỉ còn 100Gbps
• NUMA misalignment: khi GPU và CPU memory không nằm trong cùng NUMA node, latency tăng, bandwidth giảm do phải qua inter-socket hop — degradation lên tới 40%, ảnh hưởng data loading, checkpoint write, và multi-GPU training

Nguồn: InfoQ | Phân tích bởi AI