Nếu bạn hay code với AI mà máy yếu, đường truyền chập chờn, hoặc đơn giản là ngại gửi code lên cloud, thì tin này đáng chú ý: PrismML vừa ra mắt Bonsai 27B, model 27,8 tỉ tham số nhưng bản nén nhỏ nhất chỉ nặng 3,9GB — đủ nhẹ để nhét vào bộ nhớ của một chiếc iPhone. Câu hỏi mà dân code hay đặt ra ngay lúc này là: liệu nó có đủ sức gánh những việc mà Claude Code vẫn đang làm không?
Bonsai 27B là gì
Bonsai 27B được PrismML xây dựng dựa trên nền Qwen3.6 27B, sau đó nén xuống dạng trọng số cực thấp bit theo hai phiên bản:
- Ternary Bonsai 27B: trọng số chỉ nhận 1 trong 3 giá trị (−1, 0, +1), tương đương 1,71 bit/trọng số. Dung lượng khoảng 5,9GB, hướng tới chất lượng cao, chạy tốt trên laptop thường.
- 1-bit Bonsai 27B: trọng số nhị phân (−1, +1), khoảng 1,125 bit/trọng số, chỉ 3,9GB. Đây là bản nhắm tới điện thoại — vừa vặn bộ nhớ khả dụng của iPhone 17 Pro.
Điểm đáng chú ý là việc nén này áp dụng xuyên suốt toàn bộ mạng — embedding, attention, MLP, lớp đầu ra — không có phần nào được giữ ở độ chính xác cao hơn để “gánh” chất lượng. Cả hai bản đều đa phương thức (đọc được ảnh, screenshot, tài liệu) nhờ phần xử lý ảnh riêng chạy ở 4-bit, và hỗ trợ ngữ cảnh dài tới 262.000 token. Toàn bộ được phát hành theo giấy phép Apache 2.0, tức có thể dùng thương mại tự do.
Mẹo: nếu định thử, bản ternary (5,9GB) là lựa chọn hợp lý hơn cho laptop vì giữ chất lượng tốt hơn hẳn, còn bản 1-bit chỉ thực sự đáng cân nhắc khi mục tiêu là chạy trên điện thoại.
Chất lượng còn lại bao nhiêu sau khi nén
PrismML công bố kết quả trên bộ 15 benchmark (kiến thức, toán, code, làm theo chỉ dẫn, gọi tool, thị giác), so với bản gốc Qwen3.6 27B chạy full precision:
| Nhóm kỹ năng | Qwen3.6 27B (gốc) | Ternary Bonsai 27B | 1-bit Bonsai 27B |
|---|---|---|---|
| Toán (GSM8K, MATH-500, AIME25/26) | 95,3 | 93,4 | 91,7 |
| Code (HumanEval+, MBPP+, LiveCodeBench) | 88,7 | 86,0 | 81,9 |
| Agentic & gọi tool (BFCL v3, TauBench) | 80,0 | 74,0 | 66,0 |
| Làm theo chỉ dẫn (IFEval, IFBench) | 78,4 | 71,8 | 65,8 |
| Kiến thức / STEM (MMLU-Redux, MuSR) | 83,1 | 77,0 | 73,4 |
| Thị giác (MMMU Pro, OCRBench) | 72,6 | 65,2 | 59,6 |
| Trung bình 15 benchmark | 85,0 | 80,5 | 76,1 |
Nhìn vào bảng này thì toán và code giữ khá tốt, nhưng phần gọi tool và agentic lại rơi mạnh nhất — từ 80,0 điểm xuống còn 66,0 ở bản 1-bit, tức mất gần 18%. Đây là điểm quan trọng cần lưu ý, vì khả năng gọi tool chính xác lại là thứ mà một trợ lý code như Claude Code phụ thuộc vào nhiều nhất: đọc file, sửa nhiều file cùng lúc, chạy lệnh, kiểm tra kết quả rồi tự sửa tiếp. Bản ternary giữ tốt hơn (74,0) nhưng vẫn thấp hơn bản gốc khá rõ.
Tốc độ và cấu hình cần có
Theo công bố của PrismML, tốc độ sinh token trên một số phần cứng:
- NVIDIA RTX 5090: khoảng 163 token/giây (1-bit), 134 token/giây (ternary)
- Apple M5 Max: khoảng 87 token/giây (1-bit), 58 token/giây (ternary)
- iPhone 17 Pro Max: khoảng 11 token/giây với bản 1-bit
Con số trên iPhone nghe có vẻ khiêm tốn so với máy tính, nhưng điều đáng nói không phải là tốc độ mà là việc một model 27 tỉ tham số chạy được trên điện thoại — bản FP16 gốc nặng khoảng 54GB, còn bản 4-bit thông thường cũng đã 17-18GB, quá lớn so với bộ nhớ khả dụng cho một app trên iPhone (thường chỉ khoảng 6GB trong tổng bộ nhớ máy).
Vậy có thể thay Claude Code không?
Câu trả lời thẳng: chưa, ít nhất là chưa toàn diện. Có ba lý do:
Thứ nhất, phần benchmark rơi mạnh nhất chính là agentic và gọi tool — đúng khối việc mà Claude Code làm hàng ngày. Mất gần 1/5 hiệu năng ở phần này không phải là chênh lệch nhỏ, đặc biệt với các tác vụ nhiều bước, cần model tự lên kế hoạch, gọi đúng tool, đọc kết quả rồi quyết định bước tiếp theo.
Thứ hai, các bên đưa tin về Bonsai 27B đều nói rõ đây là bản nén lại từ Qwen3.6 27B có sẵn, không phải một model huấn luyện mới từ đầu, và các con số benchmark do chính PrismML công bố — chưa có đánh giá độc lập rộng rãi từ cộng đồng về việc nó xử lý các codebase thực tế phức tạp ra sao. [CẦN KIỂM TRA LẠI] khi có bản đánh giá độc lập.
Thứ ba, chạy local giải quyết được bài toán chi phí và quyền riêng tư — code không rời khỏi máy, không tốn phí theo token — nhưng đó là một sự đánh đổi, không phải nâng cấp miễn phí. Với các tác vụ đơn giản, sửa lỗi nhỏ, tự động hoá cá nhân, Bonsai 27B chạy local hoàn toàn khả thi và đáng thử. Nhưng với các dự án lớn, nhiều file, cần độ chính xác cao khi gọi tool liên tục, mức chênh lệch benchmark ở trên là điều nên cân nhắc trước khi đặt cược toàn bộ workflow vào nó.
Điều thú vị hơn có lẽ là hướng đi PrismML đang gợi ý: dùng model local như Bonsai cho các bước nhẹ, ít rủi ro, và chỉ gọi tới model cloud mạnh hơn (như Claude) cho những bước khó nhất. Đó là mô hình lai (hybrid) nhiều khả năng sẽ phổ biến hơn là chuyện “model local thay thế hoàn toàn cloud”.
Có nên thử không?
Nếu máy bạn có ít nhất 8-16GB RAM (laptop) hoặc iPhone 17 Pro trở lên, và bạn tò mò muốn tự trải nghiệm một model 27B chạy offline, Bonsai 27B là một cột mốc kỹ thuật đáng thử — cả về mặt “xem công nghệ nén model đã đi xa tới đâu”. Nhưng nếu công việc hàng ngày của bạn là dựa vào Claude Code cho các tác vụ agentic phức tạp, thì đây chưa phải lúc để huỷ subscription. Ai đã thử chạy Bonsai 27B trên máy mình, để lại cấu hình và trải nghiệm thực tế bên dưới nhé!
Để lại một bình luận