Alibaba, gã khổng lồ thương mại điện tử Trung Quốc, là một công ty lớn trong lĩnh vực AI của Trung Quốc.
Hôm nay, họ đã công bố phát hành mô hình AI mới nhất của mình, Qwen2 – và theo một số thước đo, đây là lựa chọn nguồn mở tốt nhất ở thời điểm hiện tại.
Được phát triển bởi Alibaba Cloud, Qwen2 là thế hệ tiếp theo của dòng mô hình Tongyi Qianwen (Qwen) của công ty, bao gồm Tongyi Qianwen LLM (còn được gọi là Qwen), mô hình AI tầm nhìn Qwen-VL và Qwen-Audio.
Dòng mô hình Qwen được đào tạo trước về dữ liệu đa ngôn ngữ bao gồm nhiều ngành và lĩnh vực khác nhau, trong đó Qwen-72B là mô hình mạnh nhất trong dòng.
Nó được đào tạo trên 3 nghìn tỷ token dữ liệu ấn tượng. Để so sánh, biến thể Llama-2 mạnh mẽ nhất của Meta dựa trên 2 nghìn tỷ token. Tuy nhiên, Llama-3 đang trong quá trình xử lý 15 nghìn tỷ token.
Theo một bài đăng blog gần đây của đội ngũ Qwen, Qwen2 có thể xử lý 128K token ngữ cảnh – có thể so sánh với GPT-4o từ OpenAI.
Đội ngũ khẳng định Qwen2 đã vượt trội hơn LLama3 của Meta về cơ bản trong tất cả các điểm chuẩn tổng hợp quan trọng nhất, khiến nó trở thành mô hình nguồn mở tốt nhất hiện có.
Tuy nhiên, điều đáng chú ý là Elo Arena độc lập xếp hạng Qwen2-72B-Instruct tốt hơn một chút so với GPT-4-0314 nhưng thấp hơn Llama3 70B và GPT-4-0125-preview, khiến nó trở thành LLM nguồn mở được ưa chuộng thứ hai trong số mọi người. người thử nghiệm cho đến nay.
Qwen2 có sẵn với năm kích cỡ khác nhau, từ 0.5 tỷ đến 72 tỷ thông số và bản phát hành mang lại những cải tiến đáng kể trong các lĩnh vực chuyên môn khác nhau.
Ngoài ra, các mô hình đã được đào tạo với dữ liệu bằng 27 ngôn ngữ nhiều hơn phiên bản trước, bao gồm tiếng Đức, tiếng Pháp, tiếng Tây Ban Nha, tiếng Ý và tiếng Nga, bên cạnh tiếng Anh và tiếng Trung.
Đội ngũ Qwen đã tuyên bố trên trang chính thức của mô hình trên HuggingFace:
“So với các mô hình ngôn ngữ nguồn mở tiên tiến nhất, bao gồm Qwen1.5 được phát hành trước đó, Qwen2 nhìn chung đã vượt qua hầu hết các mô hình nguồn mở và thể hiện khả năng cạnh tranh so với các mô hình độc quyền qua một loạt tiêu chuẩn nhắm mục tiêu hiểu ngôn ngữ, tạo ngôn ngữ , khả năng đa ngôn ngữ, mã hóa, toán học và lý luận”.
Các mô hình Qwen2 cũng cho thấy khả năng hiểu biết ấn tượng về các bối cảnh dài.
Qwen2-72B-Instruct có thể xử lý các tác vụ trích xuất thông tin ở bất kỳ đâu trong bối cảnh rộng lớn của nó mà không gặp lỗi và nó đã vượt qua bài kiểm tra “Needle in a Haystack” gần như hoàn hảo.
Điều này rất quan trọng vì theo truyền thống, hiệu suất của mô hình bắt đầu suy giảm khi chúng ta tương tác với nó nhiều hơn.
Với bản phát hành này, đội ngũ Qwen cũng đã thay đổi giấy phép cho các mẫu máy của mình.
Trong khi Qwen2-72B và các mẫu được điều chỉnh theo hướng dẫn của nó tiếp tục sử dụng giấy phép Qianwen ban đầu thì tất cả các mẫu khác đã áp dụng Apache 2.0, một tiêu chuẩn trong thế giới phần mềm nguồn mở.
Alibaba Cloud cho biết trong một bài đăng trên blog chính thức:
“Trong tương lai gần, chúng tôi sẽ tiếp tục mở các mô hình mới để tăng tốc AI nguồn mở”.
Mô hình này đã được thử nghiệm và nhận thấy nó có khả năng hiểu các tác vụ bằng nhiều ngôn ngữ.
Mô hình này cũng bị kiểm duyệt, đặc biệt là những chủ đề được coi là nhạy cảm ở Trung Quốc.
Điều này có vẻ phù hợp với tuyên bố của Alibaba về việc Qwen2 là mô hình ít có khả năng mang lại kết quả không an toàn nhất – có thể là hoạt động bất hợp pháp, gian lận, nội dung khiêu dâm và bạo lực quyền riêng tư – bất kể nó được nhắc bằng ngôn ngữ nào.
Ngoài ra, nó hiểu rõ các lời nhắc của hệ thống, điều đó có nghĩa là các điều kiện được áp dụng sẽ có tác động mạnh hơn đến các câu trả lời của nó.
Ví dụ, khi được yêu cầu đóng vai một trợ lý hữu ích có kiến thức về luật so với đóng vai một luật sư am hiểu luôn phản ứng dựa trên luật, các câu trả lời cho thấy có sự khác biệt lớn.
Nó cung cấp lời khuyên tương tự như lời khuyên do GPT-4o cung cấp nhưng ngắn gọn hơn.
Đội ngũ cho biết, đợt nâng cấp mô hình tiếp theo sẽ mang lại tính đa phương thức cho Qwen2 LLM, có thể hợp nhất tất cả dòng sản phẩm thành một mô hình mạnh mẽ.
Đội ngũ cho biết thêm:
“Ngoài ra, chúng tôi mở rộng các mô hình ngôn ngữ Qwen2 sang đa phương thức, có khả năng hiểu cả thông tin hình ảnh và âm thanh”.
Qwen có sẵn để thử nghiệm trực tuyến thông qua HuggingFace Spaces. Những người có đủ máy tính để chạy cục bộ có thể tải xuống trọng số miễn phí, cũng thông qua HuggingFace.
Mô hình Qwen2 có thể là sự thay thế tuyệt vời cho những ai sẵn sàng đặt cược vào AI nguồn mở. Nó có cửa sổ ngữ cảnh token lớn hơn hầu hết các mô hình khác, khiến nó thậm chí còn có khả năng cao hơn LLama 3 của Meta.
Ngoài ra, do giấy phép của nó, các phiên bản tinh chỉnh được chia sẻ bởi những người khác có thể cải thiện nó, tăng thêm điểm số và khắc phục thành kiến.
Tin Tức Bitcoin tổng hợp
