DeepSeek DeepGEMM ra mắt cập nhật lớn, gồm Mega MoE và FP4 Indexer

DeepSeek vừa đưa DeepGEMM, thư viện phép toán ma trận mã nguồn mở, vào một merge request mới với các tính năng như Mega MoE và FP4 Indexer, theo nội dung ghi chú phát hành công khai 26/04.

Bản cập nhật gộp các bước dispatch, linear1/SwiGLU/linear2 và combine trong MoE thành một mega-kernel, đồng thời tối ưu chồng lấp giữa truyền thông NVLink và tính toán tensor core.

DeepGEMM hiện chỉ hỗ trợ FP8 x FP4 MoE, EP≤8 và yêu cầu PyTorch≥2.9. Bản này cũng bổ sung FP4 Indexer cho MQA logits, FP8 x FP4 GEMM, PDL và bố cục DeepEPv2 MoE GEMM.

Nhóm phát triển cho biết họ còn tối ưu heuristic và kernel của GEMM, tăng tốc biên dịch JIT, đồng thời sửa các lỗi như JIT crash và treo một phần kernel khi chạy trên hệ thống tệp phân tán. Bản phát hành này chỉ liên quan đến phát triển DeepGEMM, không phải bản phát hành mô hình nội bộ.

Tuyên bố miễn trừ: Bài viết này chỉ nhằm mục đích cung cấp thông tin dưới dạng blog cá nhân, không phải là khuyến nghị đầu tư. Nhà đầu tư cần tự nghiên cứu kỹ lưỡng trước khi đưa ra quyết định và chúng tôi không chịu trách nhiệm đối với bất kỳ quyết định đầu tư nào của bạn.

Theo Nghị quyết số 05/2025/NQ-CP ngày 09/09/2025 của Chính phủ về việc thí điểm triển khai thị trường tài sản số tại Việt Nam, TinTucBitcoin.com hiện chỉ cung cấp thông tin cho độc giả quốc tế và không phục vụ người dùng tại Việt Nam cho đến khi có hướng dẫn chính thức từ cơ quan chức năng.