Architecting Cloud-Native Kafka: from Tiered Storage towards a Diskless Future

KẾT LUẬN

Kafka đang chuyển từ kiến trúc shared-nothing phần cứng sang kiến trúc cloud-native disaggregated với tiered storage, FinOps telemetry, virtual clusters và consumer elasticity, giúp giảm 90% chi phí lưu trữ nhưng đòi hỏi platform teams phải quản lý chặt chẽ API costs và cost attribution.

LUẬN ĐIỂM CHÍNH

• Tiered Storage (KIP-405) phân tách compute và storage, giảm 90% chi phí cho dữ liệu lạnh bằng cách chuyển sang object storage (S3)
• KIP-848 (Next-Gen Consumer Rebalance Protocol) loại bỏ stop-the-world pauses, cho phép Kubernetes autoscaling an toàn với KEDA
• FinOps visibility (KIP-1267) và cost attribution giúp platform teams kiểm soát chi phí cloud qua Prometheus và Grafana dashboards

LUẬN ĐIỂM PHỤ

• Virtual Clusters (KIP-1134) giải quyết multi-tenancy mà không cần cluster-per-team, cô lập namespace và metadata
• Share Groups phá vỡ ràng buộc partition-parallelism, cho phép scale consumer độc lập không cần re-partitioning
• Request amplification là rủi ro FinOps chính khi dùng tiered storage: consumer fetch sai kích thước gây hàng nghìn API calls/giây

LUẬN CỨ & VÍ DỤ

• Discover Financial Services giảm thời gian áp dụng pricing changes từ 6 tháng xuống 3 tuần, xử lý 4 triệu transaction records trong 9 phút
• Tiered storage giảm chi phí từ $12,288/tháng/broker (EBS gp3 × replication factor 3) xuống $1,178/tháng (S3 Standard), tiết kiệm ~90%
• KIP-1178 proposed remote.max.partition.fetch.bytes để giảm API call amplification, nâng default từ 1MB lên 4MB

Nguồn: InfoQ | Phân tích bởi AI