Gemma 4 12B: Kiến trúc Encoder-Free Đa Phương Thức cho Agentic Workflows trên Laptop

KẾT LUẬN

Google ra mắt Gemma 4 12B - mô hình multimodal 12 tỷ tham số đầu tiên sử dụng kiến trúc encoder-free thống nhất, loại bỏ hoàn toàn vision/audio encoder riêng biệt, cho phép chạy agentic workflow đa phương thức trực tiếp trên laptop. Đây là bước đột phá kiến trúc giúp giảm latency và memory footprint, nhưng khả năng coding phức tạp còn hạn chế.

LUẬN ĐIỂM CHÍNH

• Kiến trúc encoder-free thống nhất: loại bỏ vision/audio encoder riêng, đưa multimodal data trực tiếp vào LLM decoder-only transformer dùng chung cấu trúc decoder của Gemma 4 31B Dense.
• Vision embedder 35M tham số thay thế 27-layer vision transformer: chiếu trực tiếp các patch 48×48 pixel vào hidden space của LLM bằng một phép nhân ma trận duy nhất, với factorized X-Y coordinate lookup bơm spatial position info.
• Audio wave projection: cắt audio 16 kHz thành frame 40ms (640 samples) và chiếu tuyến tính vào LLM input space, không cần audio encoder riêng.

LUẬN ĐIỂM PHỤ

• Dùng chung weights cho multimodal inputs: đơn giản hóa fine-tuning, cho phép cập nhật toàn bộ multimodal loop trong single pass với LoRA hoặc full tuning.
• Tích hợp Google AI Edge: xây dựng và thử nghiệm cục bộ trên máy tính thông thường qua Edge Gallery showcase app, Edge Eloquent (voice dictation), và LiteRT-LM.
• Hỗ trợ đa harness: OpenCode với LiteRT-LM, llama.cpp; phân phối qua Hugging Face, Ollama, LM Studio, Google Cloud.
• Cộng đồng Reddit đánh giá cao kiến trúc encoder-free và native audio trên model 12B, nhưng còn hạn chế với coding task phức tạp - phù hợp tác vụ đơn giản hơn là thay thế Qwen 3.6.

LUẬN CỨ & VÍ DỤ

• Google demo: model tạo Python program render PNG chart so sánh top 10 tên bé gái sinh năm 2024 vs 2025 chỉ từ natural language instructions.
• Reddit user triynizzles: model giải thích code path và sửa logic bug tốt, nhưng 'anything more ambiguous it will start to fall apart'.
• Reddit user khác: dùng model 'to build a python app with a server and client side. I'm blown away by how nicely it's doing. The context is wild' - one-shotting nhiều task không lỗi.
• Maarten Grootendorst: phân tích chuyên sâu kiến trúc model qua visual guide trên newsletter.
• Reddit user Wrong_Mushroom: lợi ích encoder-free là 'share images and audio without an extra file... dataset is trained with those in mind, so in theory it should be more accurate'.

Nguồn: InfoQ | Phân tích bởi AI