Meituan ra mắt mô hình ngôn ngữ LongCat-2.0 thế hệ mới nghìn tỷ tham số

Meituan vừa công bố mô hình ngôn ngữ quy mô nghìn tỷ tham số LongCat-2.0 và cho biết sẽ mở nguồn mã này.

LongCat-2.0 có quy mô dữ liệu tiền huấn luyện trên 30T token, bao gồm tiếng Trung, tiếng Anh, dữ liệu đa ngôn ngữ, mã nguồn và các loại dữ liệu khác. Dự án cũng nêu các thách thức khi huấn luyện trên hàng chục nghìn card, gồm lỗi phần cứng, bất thường truyền thông, áp lực bộ nhớ và dao động số học.

Đội ngũ phát triển cho biết đã xử lý các vấn đề này theo ba hướng: ổn định, chính xác và hiệu quả. Ở mảng ổn định, hệ thống dùng xử lý ngoại lệ HCCL, mở rộng card linh hoạt và tự động khôi phục lỗi.

Theo công bố, các biện pháp trên đã giúp giảm hơn 70% tỷ lệ lỗi trung bình hằng ngày mỗi tháng. Ở mảng chính xác, nhóm phát triển cho biết đã tự xây dựng các toán tử xác định, kiểm tra nhất quán bitwise và phát hiện tham số để nâng độ tin cậy của kết quả huấn luyện.

Tuyên bố miễn trừ: Bài viết này chỉ nhằm mục đích cung cấp thông tin dưới dạng blog cá nhân, không phải là khuyến nghị đầu tư. Nhà đầu tư cần tự nghiên cứu kỹ lưỡng trước khi đưa ra quyết định và chúng tôi không chịu trách nhiệm đối với bất kỳ quyết định đầu tư nào của bạn.

Theo Nghị quyết số 05/2025/NQ-CP ngày 09/09/2025 của Chính phủ về việc thí điểm triển khai thị trường tài sản số tại Việt Nam, TinTucBitcoin.com hiện chỉ cung cấp thông tin cho độc giả quốc tế và không phục vụ người dùng tại Việt Nam cho đến khi có hướng dẫn chính thức từ cơ quan chức năng.