Tether cho biết QVAC Fabric đã ra mắt framework tinh chỉnh LoRA đa nền tảng đầu tiên trên thế giới cho Microsoft BitNet (One-Bit LLM), nhằm giảm mạnh yêu cầu bộ nhớ và năng lực tính toán khi huấn luyện mô hình lớn.
Điểm đáng chú ý là framework tập trung vào khả năng chạy trên nhiều loại phần cứng, giúp việc tinh chỉnh LoRA và tăng tốc suy luận khả thi hơn trên cả máy tính lẫn thiết bị di động.
- QVAC Fabric ra mắt framework LoRA đa nền tảng cho Microsoft BitNet.
- Mục tiêu: giảm đáng kể bộ nhớ và sức mạnh tính toán khi huấn luyện.
- Hỗ trợ Intel, AMD, Apple Silicon M-series và GPU di động (Adreno, Mali, Apple Bionic).
Framework LoRA cho BitNet có gì nổi bật?
Framework mới hỗ trợ tinh chỉnh LoRA và tăng tốc suy luận cho Microsoft BitNet (One-Bit LLM) trên nhiều nền tảng phần cứng.
Theo thông tin công bố, QVAC Fabric định vị đây là framework tinh chỉnh LoRA đa nền tảng đầu tiên dành riêng cho BitNet. Điểm nhấn chính là việc giảm yêu cầu bộ nhớ và năng lực tính toán trong quá trình huấn luyện các mô hình lớn, qua đó hạ rào cản triển khai và thử nghiệm.
Việc gắn với BitNet (One-Bit LLM) cho thấy hướng tối ưu hiệu năng theo kiến trúc mô hình dùng độ chính xác thấp, nơi hiệu quả bộ nhớ và tính toán là ưu tiên cốt lõi. Ngoài tinh chỉnh LoRA, framework còn nhấn mạnh khả năng inference acceleration, tập trung vào tốc độ suy luận khi vận hành.
Hỗ trợ phần cứng và tác động triển khai
Framework hỗ trợ Intel, AMD, Apple Silicon M-series, cùng GPU di động như Adreno, Mali và Apple Bionic.
Danh sách phần cứng trải rộng từ CPU/GPU phổ biến trên PC đến hệ SoC di động. Điều này hàm ý quy trình tinh chỉnh LoRA và chạy suy luận có thể được tối ưu để phù hợp nhiều môi trường triển khai, từ máy tính cá nhân đến thiết bị cầm tay.
Với hỗ trợ cho mobile GPUs (Adreno, Mali, Apple Bionic), trọng tâm không chỉ dừng ở huấn luyện mà còn hướng đến tăng tốc suy luận trên thiết bị, giúp mở rộng kịch bản ứng dụng khi yêu cầu tài nguyên bị giới hạn.