OpenAI bổ sung chế độ WebSocket cho Responses API, giúp tăng tốc khoảng 40% cho các tác vụ chuỗi dài có hơn 20 lần gọi công cụ.
Theo tài liệu dành cho nhà phát triển của OpenAI, WebSocket được tối ưu cho quy trình làm việc phức tạp với tần suất gọi công cụ cao, nhờ kết nối bền vững và hỗ trợ nhập liệu tăng dần.
- WebSocket mode tối ưu cho workflow nhiều tool calls trên Responses API.
- Tăng tốc khoảng 40% với tác vụ có hơn 20 tool calls.
- Hỗ trợ ZDR và previous_response_id; mỗi kết nối tối đa 60 phút.
WebSocket mode trên Responses API có gì mới?
OpenAI giới thiệu chế độ WebSocket cho Responses API nhằm tối ưu các workflow phức tạp với nhiều lần gọi công cụ và yêu cầu độ trễ thấp.
Theo tài liệu nhà phát triển, chế độ này thiết lập kết nối bền vững (persistent connections) và hỗ trợ incremental input, giúp xử lý các tác vụ long-chain hiệu quả hơn khi phải tương tác công cụ nhiều lần trong một phiên.
Đối tượng hưởng lợi chính là các luồng xử lý có tần suất tool calls lớn, nơi chi phí thiết lập lại kết nối hoặc truyền ngữ cảnh lặp lại có thể làm chậm toàn bộ pipeline.
Tác động hiệu năng, giới hạn kết nối và ZDR
Với các tác vụ chuỗi dài có hơn 20 tool calls, WebSocket mode có thể cải thiện tốc độ thực thi khoảng 40%.
Chế độ WebSocket tương thích với Zero Data Retention (ZDR), đồng thời hỗ trợ tái kết nối ngữ cảnh độ trễ thấp bằng previous_response_id. Điều này cho phép tiếp tục luồng xử lý dựa trên phản hồi trước đó, giảm chi phí khởi tạo lại bối cảnh.
Hiện tại, thời lượng của một kết nối đơn lẻ bị giới hạn ở 60 phút, đồng nghĩa các workflow kéo dài hơn cần cơ chế quản lý phiên hoặc tái tạo kết nối phù hợp trong thiết kế hệ thống.