Nhà phát triển phát hành và mở mã nguồn DeepSeek-V3.2-Exp

DeepSeek-V3.2-Exp đã được phát hành dưới dạng mã nguồn mở, tích hợp kiến trúc sparse attention nhằm giảm tiêu thụ tài nguyên và nâng cao hiệu quả suy luận.

Mô hình hiện có trên nền tảng Huawei Cloud MaaS; Huawei triển khai bằng giải pháp EP parallelization quy mô lớn, tận dụng cấu trúc sparse attention để xử lý ngữ cảnh dãy dài, cân bằng giữa độ trễ và thông lượng.

Giới thiệu DeepSeek-V3.2-Exp

DeepSeek-V3.2-Exp là bản phát hành mở của dòng mô hình DeepSeek, thiết kế để tối ưu cho hiệu năng suy luận và xử lý ngữ cảnh dài.

Mô hình được công bố vào ngày 29/9 và cung cấp mã nguồn mở để cộng đồng triển khai, kiểm thử và tối ưu trên hạ tầng đám mây hoặc phần cứng chuyên dụng.

Kiến trúc sparse attention và lợi ích

Sparse attention giới hạn các tương tác attention chỉ vào các vị trí quan trọng trong dãy thay vì mọi cặp Token, từ đó giảm khối lượng tính toán và bộ nhớ.

Phương pháp này giúp mô hình xử lý chuỗi dài hiệu quả hơn, giảm tiêu thụ tài nguyên khi inference; đồng thời có thể cân bằng đôi chút giữa độ chính xác và hiệu năng tùy theo chiến lược chọn các vị trí sparse.

Triển khai trên Huawei Cloud MaaS và chiến lược EP parallelization

Mô hình đã được đưa lên nền tảng Huawei Cloud MaaS, nơi Huawei áp dụng giải pháp EP parallelization quy mô lớn để tối ưu hoá việc suy luận phân tán.

EP parallelization phối hợp phân chia thông lượng và bối cảnh affinity theo cấu trúc sparse attention, nhằm xử lý dãy dài song song trong khi cân bằng giữa độ trễ (latency) và thông lượng (throughput).

Mô hình này có sẵn ở đâu?

DeepSeek-V3.2-Exp hiện được cung cấp trên nền tảng Huawei Cloud MaaS để truy cập, triển khai và thử nghiệm trên hạ tầng đám mây.

Sparse attention khác gì so với attention đầy đủ?

Sparse attention chỉ tính toán attention cho tập con các vị trí quan trọng, giảm việc xử lý mọi cặp Token như attention đầy đủ, từ đó tiết kiệm tài nguyên và hỗ trợ dãy dài tốt hơn.

EP parallelization có vai trò gì?

EP parallelization giúp phân phối tải tính toán và bộ nhớ giữa nhiều thiết bị, hỗ trợ xử lý song song cho mô hình lớn và cân bằng độ trễ với thông lượng.

DeepSeek-V3.2-Exp phù hợp cho trường hợp nào?

Mô hình phù hợp khi cần inference on-chain đầu vào dài hoặc khi muốn tối ưu chi phí tài nguyên suy luận trên hệ thống đám mây hoặc cụm GPU/TPU phân tán.

Lưu ý: Nội dung bài viết chỉ nhằm cung cấp thông tin, không phải khuyến nghị đầu tư. Vui lòng tự nghiên cứu kỹ lưỡng trước khi đưa ra quyết định. Chúng tôi không chịu trách nhiệm đối với mọi kết quả phát sinh từ quyết định đầu tư của bạn.