The Time It Wasn't DNS

KẾT LUẬN

Sự cố mạng WAN toàn cầu của Microsoft Azure ngày 25/01/2023 không phải đơn thuần là "lỗi kỹ sư". Đây là kết quả của một chuỗi yếu tố góp phần phức tạp: SOP được tạo ngoài quy trình quản trị, thiếu kiểm toán lệnh AAA, sự khác biệt giữa các hệ điều hành router của 3 nhà sản xuất, và thiếu khoảng lắng nghe sau thay đổi. Bài học cốt lõi: đừng rút gọn sự cố phức tạp thành một "root cause" đơn giản — việc đó gây hại cho văn hóa tổ chức và không giải quyết được vấn đề thực sự.

LUẬN ĐIỂM CHÍNH

• Việc quy sự cố phức tạp về một nguyên nhân đơn giản như lỗi người vận hành là nguy hiểm — nó dẫn đến các biện pháp sửa chữa sai lầm như trừng phạt kỹ sư hoặc tăng cường đào tạo bắt buộc, thay vì giải quyết các vấn đề hệ thống thực sự.
• SOP được tạo và sửa đổi ngoài quy trình quản trị thông thường (không peer review, không CAB, không mô phỏng kiểm thử) là yếu tố then chốt — lệnh nguy hiểm được thêm vào SOP mà không qua kiểm duyệt.
• Sự khác biệt giữa 3 hệ điều hành router của 3 nhà sản xuất khác nhau khiến cùng một lệnh có phạm vi cục bộ trên 2 OS nhưng có phạm vi toàn cục trên OS thứ ba, gây ra thảm họa.
• Phân tích sự cố hiện đại nên dùng sơ đồ các yếu tố góp phần (contributing factors diagram) thay vì phương pháp 5 Whys — mỗi nút trong sơ đồ là một điều kiện cần để sự cố xảy ra, giúp tránh tư duy root cause đơn giản.

LUẬN ĐIỂM PHỤ

• Kỹ sư thực thi lệnh có mental model hợp lý: tin rằng lệnh an toàn vì đã quen thuộc với nó trên các OS khác, và tin AAA sẽ chặn mọi lệnh nguy hiểm — nhưng AAA chưa được kiểm toán đầy đủ cho vai trò router mới.
• Việc thiếu khoảng lắng nghe (listening period) bắt buộc trong SOP cho thay đổi phi sản xuất khiến kỹ sư không phát hiện tác động của lệnh đầu tiên và tiếp tục chạy lệnh lần hai 33 phút sau, gây ra đợt tái hội tụ BGP thứ hai.
• Các narrative hình thành ngay trong và sau sự cố có xu hướng đơn giản hóa quá mức — đây là nhu cầu tự nhiên của con người nhưng nếu không được kiểm soát sẽ trở thành câu chuyện chính thức sai lệch.

LUẬN CỨ & VÍ DỤ

• Lệnh reset bảng định tuyến IGP khiến toàn bộ mạng WAN Microsoft tính toán lại kết nối nội bộ trong ~30 phút, sau đó BGP tái tính toán 15 triệu tuyến đường mất ~1h45 phút — gây ngừng hoạt động toàn cầu.
• Ba thiết bị vật lý bị lỗi trong quá trình IGP tái hội tụ; hệ thống auto-detection/auto-recovery bị tạm dừng vì đang góp phần làm trầm trọng thêm — lưu lượng chỉ khôi phục khi bật lại và loại bỏ thủ công các router bị suy giảm.
• Diễn giả Sean Klein đưa ra một root cause dài 5 dòng để chứng minh sự vô lý của việc tìm nguyên nhân gốc đơn giản: kỹ sư thực thi thay đổi được hiểu là rủi ro thấp, phạm vi cục bộ trên cặp router phi sản xuất, tuân theo SOP chính thức đã được cập nhật bởi kỹ sư cấp cao theo hướng dẫn của nhà sản xuất router… — và hỏi ngược: Vậy ta sửa cái gì? Sa thải ai?

Nguồn: InfoQ | Phân tích bởi AI