DeepSeek-V3.2-Exp đã được phát hành dưới dạng mã nguồn mở, tích hợp kiến trúc sparse attention nhằm giảm tiêu thụ tài nguyên và nâng cao hiệu quả suy luận.
Mô hình hiện có trên nền tảng Huawei Cloud MaaS; Huawei triển khai bằng giải pháp EP parallelization quy mô lớn, tận dụng cấu trúc sparse attention để xử lý ngữ cảnh dãy dài, cân bằng giữa độ trễ và thông lượng.
DeepSeek-V3.2-Exp phát hành mã nguồn mở, tối ưu cho inference.
Kiến trúc sparse attention giảm tính toán và cải thiện xử lý dãy dài.
Triển khai trên Huawei Cloud MaaS với EP parallelization để cân bằng độ trễ và thông lượng.
Giới thiệu DeepSeek-V3.2-Exp
DeepSeek-V3.2-Exp là bản phát hành mở của dòng mô hình DeepSeek, thiết kế để tối ưu cho hiệu năng suy luận và xử lý ngữ cảnh dài.
Mô hình được công bố vào ngày 29/9 và cung cấp mã nguồn mở để cộng đồng triển khai, kiểm thử và tối ưu trên hạ tầng đám mây hoặc phần cứng chuyên dụng.
Kiến trúc sparse attention và lợi ích
Sparse attention giới hạn các tương tác attention chỉ vào các vị trí quan trọng trong dãy thay vì mọi cặp Token, từ đó giảm khối lượng tính toán và bộ nhớ.
Phương pháp này giúp mô hình xử lý chuỗi dài hiệu quả hơn, giảm tiêu thụ tài nguyên khi inference; đồng thời có thể cân bằng đôi chút giữa độ chính xác và hiệu năng tùy theo chiến lược chọn các vị trí sparse.
Triển khai trên Huawei Cloud MaaS và chiến lược EP parallelization
Mô hình đã được đưa lên nền tảng Huawei Cloud MaaS, nơi Huawei áp dụng giải pháp EP parallelization quy mô lớn để tối ưu hoá việc suy luận phân tán.
EP parallelization phối hợp phân chia thông lượng và bối cảnh affinity theo cấu trúc sparse attention, nhằm xử lý dãy dài song song trong khi cân bằng giữa độ trễ (latency) và thông lượng (throughput).
Mô hình này có sẵn ở đâu?
DeepSeek-V3.2-Exp hiện được cung cấp trên nền tảng Huawei Cloud MaaS để truy cập, triển khai và thử nghiệm trên hạ tầng đám mây.
Sparse attention khác gì so với attention đầy đủ?
Sparse attention chỉ tính toán attention cho tập con các vị trí quan trọng, giảm việc xử lý mọi cặp Token như attention đầy đủ, từ đó tiết kiệm tài nguyên và hỗ trợ dãy dài tốt hơn.
EP parallelization có vai trò gì?
EP parallelization giúp phân phối tải tính toán và bộ nhớ giữa nhiều thiết bị, hỗ trợ xử lý song song cho mô hình lớn và cân bằng độ trễ với thông lượng.
DeepSeek-V3.2-Exp phù hợp cho trường hợp nào?
Mô hình phù hợp khi cần inference on-chain đầu vào dài hoặc khi muốn tối ưu chi phí tài nguyên suy luận trên hệ thống đám mây hoặc cụm GPU/TPU phân tán.
