Slack Eliminates SSH in EMR Pipelines, Migrates 700+ Jobs to REST-Based Architecture

KẾT LUẬN

Slack đã hiện đại hóa nền tảng dữ liệu bằng cách thay thế SSH bằng REST, di chuyển hơn 700 job Airflow sang kiến trúc tập trung Quarry, qua đó loại bỏ bề mặt tấn công, nâng cao độ tin cậy và khả năng quan sát trên toàn bộ pipeline EMR trải rộng 8 vùng dữ liệu. Quá trình hoàn tất trong 3 quý không downtime cho workload quan trọng, mở đường cho các sáng kiến downstream như Spark on Kubernetes.

LUẬN ĐIỂM CHÍNH

• SSH-based execution tạo bề mặt tấn công mở rộng, tốn chi phí cho phân phối/luân chuyển khóa SSH, khó audit do phải tương quan log từ nhiều hệ thống
• Quarry - lớp orchestration REST nội bộ - chuẩn hóa việc nộp job qua HTTP API với tracking job ID và hủy có kiểm soát, tách execution khỏi kết nối client
• Slack hỗ trợ đa dạng workload: Spark/Hive qua Livy và HiveServer2, arbitrary shell commands qua YARN Distributed Shell với resource isolation và fault tolerance
• Triển khai tăng dần qua 8 vùng dữ liệu, mỗi vùng có độ phức tạp riêng về network segmentation và compliance, hoàn tất sau 3 quý không downtime

LUẬN ĐIỂM PHỤ

• Phát hiện vấn đề ẩn trước đây bị SSH che khuất: virtual memory enforcement trong YARN và cross-account network connectivity gaps
• REST giảm coupling giữa Airflow và EMR, tiêu chuẩn hóa job submission, tạo nền tảng cho Spark on Kubernetes
• Airflow metadata dashboard theo dõi workflow còn phụ thuộc SSH, kết hợp cross-team coordination và phased deprecation

LUẬN CỨ & VÍ DỤ

• Sudip Ghosh (Walmart): SSH dễ bắt đầu nhưng không thể scale an toàn hay audit nhất quán - đây là chiến thắng bảo mật lẫn thanh toán nợ vận hành
• Arbitrary shell commands chuyển sang YARN Distributed Shell với managed containers, resource isolation và fault tolerance
• Triển khai incremental với Airflow metadata dashboard, phased operator deprecations, hoàn tất 700+ job sau 3 quý

Nguồn: InfoQ | Phân tích bởi AI