DeepSeek công bố paper mới, đề xuất kiến trúc mHC ổn định huấn luyện mô hình lớn

DeepSeek công bố kiến trúc Manifold Constrained Hyperconnectivity (mHC) nhằm khắc phục mất ổn định khi huấn luyện và giới hạn khả năng mở rộng của Hyperconnected Networks (HC), bằng cách khôi phục tính chất identity mapping trong kết nối residual.

Trong bài báo công bố ngày 1/1, DeepSeek cho biết nguyên nhân chính của các vấn đề trên đến từ việc HC vi phạm các tính chất của identity mapping, dẫn tới bất ổn khi training và khó mở rộng. mHC được giới thiệu như một hướng mở rộng linh hoạt và thực tiễn cho HC.

mHC giải quyết vấn đề gì trong Hyperconnected Networks?

mHC nhắm vào 2 điểm: training instability và limited scalability của HC do vi phạm identity mapping.

DeepSeek mô tả Hyperconnected Networks (HC) gặp tình trạng mất ổn định khi huấn luyện và khó mở rộng khi các thuộc tính identity mapping không được đảm bảo. mHC được thiết kế để khôi phục lại tính chất này, từ đó tạo nền tảng cho hiệu năng tốt hơn và mở rộng quy mô hiệu quả hơn trong quá trình huấn luyện mô hình.

Kiến trúc mới ánh xạ không gian residual connection của HC lên một manifold (đa tạp) cụ thể. Cách tiếp cận này nhằm đưa các kết nối residual về một cấu trúc có ràng buộc rõ ràng, giúp duy trì identity mapping, qua đó giảm rủi ro bất ổn và hỗ trợ mở rộng khi triển khai các mô hình nền tảng.

Cách tiếp cận và kỳ vọng của DeepSeek

mHC kết hợp ràng buộc manifold với tối ưu hạ tầng nghiêm ngặt để vừa hiệu quả vừa cải thiện hiệu năng và khả năng mở rộng.

Theo DeepSeek, mHC không chỉ điều chỉnh mặt hình học của không gian kết nối residual mà còn đi kèm tối ưu cơ sở hạ tầng (infrastructure optimization) theo hướng nghiêm ngặt để đảm bảo hiệu suất vận hành. Mục tiêu là đạt cải thiện hiệu năng đáng kể và khả năng scale vượt trội so với cách triển khai HC trước đó.

DeepSeek kỳ vọng mHC, như một phần mở rộng linh hoạt và thực tiễn của HC, sẽ giúp cộng đồng hiểu sâu hơn về thiết kế kiến trúc theo góc nhìn topology và mở ra một hướng đi tiềm năng cho tiến hóa của các mô hình nền tảng. Bài báo có các tác giả: Zhenda Xie, Yixuan Wei, Huanqi Cao; Wenfeng Liang cũng được liệt kê là tác giả.

Tuyên bố miễn trừ: Bài viết này chỉ nhằm mục đích cung cấp thông tin dưới dạng blog cá nhân, không phải là khuyến nghị đầu tư. Nhà đầu tư cần tự nghiên cứu kỹ lưỡng trước khi đưa ra quyết định và chúng tôi không chịu trách nhiệm đối với bất kỳ quyết định đầu tư nào của bạn.

Theo Nghị quyết số 05/2025/NQ-CP ngày 09/09/2025 của Chính phủ về việc thí điểm triển khai thị trường tài sản số tại Việt Nam, TinTucBitcoin.com hiện chỉ cung cấp thông tin cho độc giả quốc tế và không phục vụ người dùng tại Việt Nam cho đến khi có hướng dẫn chính thức từ cơ quan chức năng.