How DoorDash Built an AI Shopping Assistant That Does not Rely on the LLM Alone

KẾT LUẬN

DoorDash đã xây dựng trợ lý mua sắm AI Ask DoorDash với kiến trúc đa tầng, không phụ thuộc hoàn toàn vào LLM. Thay vì nhúng logic nghiệp vụ vào prompt, họ tách biệt orchestration khỏi business capabilities thông qua Assistant Runtime + MCP layer + 3 hệ thống memory (dài hạn, phiên, agentic). Kết quả: tỷ lệ chuyển đổi checkout tăng ~24%, giỏ hàng lớn hơn 17%, giảm 7% lượt hội thoại, và hệ thống evaluation tự động 2000+ test/ngày giúp giảm regression testing từ 6 giờ xuống 20 phút. Kiến trúc này cho phép nhiều trải nghiệm AI dùng chung integration trong khi backend phát triển độc lập.

LUẬN ĐIỂM CHÍNH

• Kiến trúc tách biệt Orchestration - Business Capabilities: Assistant Runtime điều phối các specialized agents, MCP layer cung cấp business functionality (tìm kiếm catalog, đề xuất, giỏ hàng, thanh toán, lịch sử đơn, consumer memory) dưới dạng reusable tools, không embedding logic vào prompt.
• Intelligence Layer với 3 hệ thống memory: Long-term memory (hành vi lịch sử → sở thích ẩm thực, hạn chế ăn uống), Session memory (ngữ cảnh hội thoại), Agentic memory (thông tin tường minh từ người dùng). Truy xuất qua semantic vector search, tách biệt memory management khỏi model inference.
• Automated Evaluation Framework: Dùng LLM-generated users mô phỏng hội thoại có trạng thái, mirror production runtime để đánh giá orchestration, guardrails, domain agents. Đạt 2000+ evaluation/ngày, cải thiện quality score +8 điểm, giảm regression testing 6h → 20 phút, validate model migration giảm latency 35%.
• Kết quả production ấn tượng: Consumer memory cải thiện checkout conversion ~24%, tăng basket size 17%, giảm conversational turns 7%. Với nhà hàng: conversion rate cao hơn 15% trên open-ended queries. Xây giỏ hàng nhanh gấp ~5 lần so với thủ công.

LUẬN ĐIỂM PHỤ

• Tối ưu vận hành: Deterministic actions cập nhật versioned artifacts không cần gọi LLM, confirmation workflows cho recommendations và generated carts.
• Mô hình tổ chức: Domain teams xây specialized agents, platform teams duy trì orchestration, MCP tooling, memory, evaluation, shared components.
• Quote từ Raghav Saboo (RecSys Lead): "Building a useful AI agent is hard. Knowing if it is actually good is even harder."

LUẬN CỨ & VÍ DỤ

• Consumer memory tăng grocery checkout conversion ~24%, basket size +17%, giảm 7% conversational turns trong 7 ngày evaluation.
• Hệ thống evaluation tự động đạt 2000+ evaluation/ngày, giảm regression testing từ 6 giờ xuống 20 phút, validate model migration giảm latency 35%.
• Andy Fang (Co-founder): Ask DoorDash can build you a grocery cart ~5x faster than doing it manually, and it takes a single prompt to complete your cart in under 2 minutes.

Nguồn: InfoQ | Phân tích bởi AI