Moonshot AI đã công bố trọng số mô hình và báo cáo kỹ thuật của Kimi K3, mô hình lớn mới nhất sử dụng kiến trúc MoE với 2,8 nghìn tỷ tham số, hỗ trợ hiểu hình ảnh gốc và ngữ cảnh dài 1 triệu token.
Moonshot AI cho biết kiến trúc mới có thể cải thiện khoảng 2,5 lần mức độ thông minh với cùng năng lực tính toán. Kimi K3 cũng được giới thiệu với khả năng xử lý dữ liệu đa phương thức.
Ngoài mô hình, đội ngũ Kimi đã mã nguồn mở các toán tử attention hiệu năng cao, thư viện giao tiếp MoE và mã hạ tầng để vận hành môi trường tác tử ở quy mô lớn. Tài nguyên liên quan hiện có trên Hugging Face, GitHub và blog kỹ thuật chính thức.