Viability of local models for coding

KẾT LUẬN

Các mô hình local cho coding đã tiến bộ đáng kể về tốc độ nhưng chất lượng vẫn thất thường, chưa sẵn sàng cho trải nghiệm "cắm là chạy" với developer phổ thông. Qwen3.6 35B MoE (4BIT) cho cân bằng tốt nhất giữa khả năng, tốc độ và RAM.

LUẬN ĐIỂM CHÍNH

• RAM là ràng buộc cốt lõi: model 15-25GB chạy thoải mái trên M3 Max 48GB, context window cần ít nhất 64K cho agentic coding
• Tốc độ phản hồi đã cải thiện vượt bậc so với 1 năm trước, đặc biệt với GGUF/MLX + 4BIT quantization
• Khả năng tool calling vẫn là điểm yếu chính: model thường tạo lời gọi sai cú pháp nhưng có thể tự sửa
• Chất lượng kết quả rất không đồng đều: phụ thuộc vào task, model nhỏ hơn đôi khi tốt hơn khi tắt reasoning

LUẬN ĐIỂM PHỤ

• Kiến trúc MoE cho hiệu quả RAM vượt trội: model 35B MoE chỉ cần 22GB
• Các harness khác nhau có schema tool khác nhau gây khó cho model nhỏ (Pi: old_text/new_text, OpenCode: oldString/newString)

LUẬN CỨ & VÍ DỤ

• Qwen3.6 Coder Next 80B MoE (45GB) ban đầu chạy tốt trên M5 Pro 64GB nhưng crash khi tiếp tục hội thoại
• Trên máy 48GB, model ~30B parameters cho kết quả khả quan, Gemma 4 26B 4BIT MLX (15.6GB) là lựa chọn nhẹ
• Reasoning models thường rơi vào vòng lặp vô tận với model nhỏ, tắt reasoning lại nhanh hơn và kết quả tương đương hoặc tốt hơn

Nguồn: Martin Fowler | Phân tích bởi AI