Tencent đã công khai mã nguồn mô hình AI Hunyuan của mình, phát hành bốn mô hình ngôn ngữ nhỏ gọn với các tham số 0.5 tỷ, 1.8 tỷ, 4 tỷ và 7 tỷ, có thể chạy trên một GPU tiêu dùng duy nhất.
Tencent đã phát hành một bộ mô hình Hunyuan nhỏ gọn mới: 0.5 tỷ, 1.8 tỷ, 4 tỷ và 7 tỷ tham số; chúng hướng tới các triển khai năng lượng thấp và biên. Cả bốn cấu hình hiện đã có sẵn trên GitHub và Hugging Face, và mỗi cấu hình đều có thể chạy suy luận trên một card đồ họa tiêu dùng duy nhất, khiến chúng phù hợp cho máy tính xách tay, điện thoại thông minh, hệ thống khoang lái thông minh và các phần cứng bị hạn chế tài nguyên khác.
Mặc dù kích thước nhỏ, các mô hình này vẫn đạt được điểm số hàng đầu trong khả năng hiểu ngôn ngữ, toán học và lập luận trên nhiều điểm chuẩn công khai. Tencent cho rằng những kết quả này là nhờ kiến trúc "lập luận kết hợp" cho phép người dùng lựa chọn giữa chế độ suy nghĩ nhanh để có câu trả lời súc tích và chế độ suy nghĩ chậm để lập luận đa bước chi tiết hơn.
Một tính năng kỹ thuật quan trọng là cửa sổ ngữ cảnh 256K token gốc, đủ để nạp khoảng 500.000 từ tiếng Anh trong một lần. Tencent nhấn mạnh các ứng dụng nội bộ như Tencent Meeting và WeChat Reading, nơi các mô hình có thể phân tích toàn bộ bản ghi cuộc họp hoặc một cuốn sách đầy đủ ngay lập tức, duy trì mối quan hệ nhân vật và chi tiết cốt truyện cho các truy vấn tiếp theo.
Bốn LLM nhỏ gọn này tích hợp với các framework suy luận chính thống, bao gồm SGLang, vLLM và TensorRT-LLM, đồng thời hỗ trợ nhiều định dạng lượng tử hóa. Sự chứng thực ban đầu từ Arm, Qualcomm, Intel và MediaTek cho thấy các gói triển khai được tối ưu hóa cho bộ xử lý khách hàng tương ứng của họ sẽ sớm ra mắt.
Các trường hợp sử dụng ban đầu nhấn mạnh trọng tâm thực tế của bản phát hành. Tencent Mobile Manager báo cáo khả năng chặn thư rác ở cấp độ mili giây mà không cần chuyển dữ liệu ra ngoài thiết bị. Đồng thời, một lược đồ hai mô hình trong trợ lý khoang lái thông minh của Tencent cân bằng mức tiêu thụ điện năng trên bo mạch với độ sâu hội thoại. Tencent lập luận rằng những ví dụ này chứng minh rằng các mô hình nhỏ có thể mang lại khả năng tác nhân cấp doanh nghiệp khi được thiết kế một cách chu đáo.
