Stragglers, Not Failures: How Adaptive Hedged Requests Reduce p99 Latency by 74 Percent

KẾT LUẬN

Stragglers (request chậm nhưng vẫn hoàn thành) là nguyên nhân chính gây p99 latency cao trong fan-out architectures; adaptive hedging với DDSketch giảm 74% p99 latency mà không cần retry gây hại, với token bucket budget ngăn load amplification khi outage.

LUẬN ĐIỂM CHÍNH

• Stragglers khác failures: retry gửi thêm request vào back-end đang quá tải làm p99 tệ hơn; hedging (race backup request, cancel loser) mới là giải pháp đúng
• DDSketch cung cấp O(1) real-time quantile estimation với relative-error ±1% và ~35ns overhead, cho phép hedge tại p90 thực tế của latency distribution
• Token bucket budget giới hạn hedge rate ở 10% traffic, tự động dừng hedging trong outage để service degrade gracefully thay vì load-doubling spiral

LUẬN ĐIỂM PHỤ

• Fan-out amplification: với 100 downstream services có 1% straggler rate, 63% top-level requests bị ảnh hưởng bởi ít nhất 1 straggler
• Windowed rotation (30s default) cho phép DDSketch thích nghi với latency distribution thay đổi khi deploy, traffic spike, hoặc GC phase
• TTFT-calibrated hedging (không phải TTFB) là cách đúng cho LLM inference: TTFB-calibrated hedge đạt overhead ~100% và barely touches p99

LUẬN CỨ & VÍ DỤ

• Benchmark 50,000 requests: adaptive hedging giảm p99 latency 74% với dưới 10% overhead
• TTFT-calibrated hedging đạt overhead 17-19.8% (vs 100% nếu dùng TTFB làm signal), chỉ hedge 20% cache-miss requests
• DDSketch critical-path overhead ~35 nanoseconds per request, không đáng kể cho mọi network call
• Full reference implementation open-source tại github.com/bhope/hedge, dùng làm HTTP RoundTripper drop-in

Nguồn: InfoQ | Phân tích bởi AI