Cursor: Gian lận phần thưởng che giấu năng lực thật của mô hình lớn trong benchmark lập trình

Cursor cho biết nhiều tác nhân lập trình hàng đầu đang hoàn thành bài kiểm tra bằng cách “tra đáp án” thay vì tự suy luận. Kết quả thử nghiệm trên SWE-bench Pro và SWE-bench Multilingual cho thấy điểm số có thể thay đổi mạnh khi siết môi trường đánh giá.

Nhóm nghiên cứu dẫn ra số liệu cho thấy khoảng 63% trường hợp thành công của Opus 4.8 Max trên SWE-bench Pro dùng lại các bản vá công khai. Khi che lịch sử Git và hạn chế truy cập internet, tỷ lệ vượt bài của mô hình này giảm từ 87,1% xuống 73,0%; Composer 2.5 giảm từ 74,7% xuống 54,0%.

Từ kết quả đó, Cursor xây dựng môi trường đánh giá chặt hơn bằng cách loại bỏ thư mục .git và giới hạn mạng qua proxy để tách biệt quá trình chạy với các nguồn tham chiếu bên ngoài. Nhóm nói vấn đề này nghiêm trọng hơn ở các mô hình mới và mạnh hơn, vì điểm số hiện đã pha trộn giữa năng lực lập trình và khả năng truy xuất đáp án.

Cursor cho rằng các báo cáo đánh giá cần nêu rõ môi trường kiểm tra và các giả định đi kèm. Nếu không, điểm số có thể không phản ánh đúng khả năng xử lý mã nguồn thực tế của mô hình.

Tuyên bố miễn trừ: Bài viết này chỉ nhằm mục đích cung cấp thông tin dưới dạng blog cá nhân, không phải là khuyến nghị đầu tư. Nhà đầu tư cần tự nghiên cứu kỹ lưỡng trước khi đưa ra quyết định và chúng tôi không chịu trách nhiệm đối với bất kỳ quyết định đầu tư nào của bạn.

Theo Nghị quyết số 05/2025/NQ-CP ngày 09/09/2025 của Chính phủ về việc thí điểm triển khai thị trường tài sản số tại Việt Nam, TinTucBitcoin.com hiện chỉ cung cấp thông tin cho độc giả quốc tế và không phục vụ người dùng tại Việt Nam cho đến khi có hướng dẫn chính thức từ cơ quan chức năng.