How Microsoft Ships AI Agents at Enterprise Scale

KẾT LUẬN

Để triển khai AI agent ở quy mô doanh nghiệp, "bộ harness" (lớp vận hành bao quanh model) quan trọng không kém bản thân model — chìa khóa là trao cho agent đúng ngữ cảnh (context) thông qua truy xuất lặp (iterative retrieval) thay vì RAG một lần (one-shot).

LUẬN ĐIỂM CHÍNH

• Khoảng cách prototype-production: Model hiếm khi là vấn đề. Mọi thứ xung quanh model (dữ liệu stale, công cụ gọi sai, người dùng thực, drift chất lượng) mới là thứ gãy trong production mà prototype không lộ ra.
• Harness quyết định thành bại: Hệ thống vận hành gồm 5 lớp (inference, runtime, observability/governance, identity, context) là thứ quyết định agent có chạy được ở quy mô doanh nghiệp hay không.
• Context là bài toán khó nhất: Microsoft giải quyết bằng retrieval-as-subagent — biến truy xuất thành vòng lặp agentic (lên kế hoạch → thử nguồn → đánh giá → thử lại) thay vì one-shot RAG vốn không phục hồi được khi truy xuất sai.
• Agent cần danh tính riêng và không gian hành động: Agent phải được coi là một lớp principal riêng trong hệ thống danh tính doanh nghiệp (Microsoft Entra), có role assignment, audit trail, và bề mặt để thực thi hành động thực tế.

LUẬN ĐIỂM PHỤ

• Chuyển dịch từ chatbot sang agent hành động: Không chỉ trả lời câu hỏi, agent giờ thực hiện công việc (đặt lịch, gửi email, tạo ticket). Sai sót từ bad experience thành business incident.
• Framework neutrality: Agent phải portable giữa LangChain/LangGraph/CrewAI mà không cần viết lại harness — Foundry hỗ trợ mọi framework.
• Đánh giá production: Rubric-based evals và auto-improvement loop để phát hiện drift chất lượng khi model mới ra.

LUẬN CỨ & VÍ DỤ

• Khi Anthropic phát hành Claude Opus 4.8, đội GitHub Copilot CLI phải re-tune harness và chạy lại toàn bộ evaluation trước khi ship — chứng minh model thay đổi thì harness phải điều chỉnh theo.
• Microsoft 365 Copilot phục vụ 20M+ người dùng, tăng trưởng agent first-party 6x YoY, 80.000+ doanh nghiệp trên Microsoft Foundry.
• Foundry IQ trả về structured I-dont-know signal khi truy xuất thất bại thay vì để model hallucinate — khác biệt căn bản với classic RAG không có fallback.

Nguồn: ByteByteGo | Phân tích bởi AI