Coinbase giảm gần một nửa chi tiêu AI nhờ dùng mô hình mở như GLM, Kimi

CEO Coinbase Brian Armstrong cho biết công ty đã cắt gần một nửa chi tiêu AI dù mức sử dụng token tăng mạnh. Coinbase đạt được kết quả này nhờ đổi mặc định, định tuyến truy vấn và tối ưu bộ nhớ đệm, thay vì siết hạn mức hay cảnh báo sử dụng.

Armstrong nói Coinbase đang dùng cổng LLM để đặt các mô hình open-weight như GLM 5.2 của Zhipu và Kimi 2.7 của Moonshot AI làm lựa chọn mặc định, đồng thời khuyến khích kỹ sư chọn mô hình phù hợp cho từng tác vụ. 91% nhân viên chưa từng chạm ngưỡng sử dụng, nên công ty chuyển sang mặc định rẻ hơn thay vì hạ hạn mức.

Ở lớp định tuyến, Coinbase tiền xử lý prompt và phân công tác vụ sang mô hình phù hợp dựa trên tỷ lệ trúng cache và giá mô hình. Công ty cho rằng AI có thể tự động hóa dần khâu chọn mô hình này trong tương lai.

Về bộ nhớ đệm, toàn bộ yêu cầu của Coinbase đều được thiết kế để nhận diện cache, còn tỷ lệ trúng cache của LibreChat đã tăng từ 5% lên 60%. Armstrong nói mục tiêu không phải là kìm hãm mức dùng, mà là xây hạ tầng để tăng trưởng theo cấp số nhân có thể duy trì.

Ông cũng nhấn mạnh việc giữ ngữ cảnh gọn, giảm token lãng phí và tăng khả năng theo dõi mức sử dụng. Theo cách ông mô tả, chi phí AI càng cao thì kỳ vọng về tác động đầu ra càng lớn.

Tuyên bố miễn trừ: Bài viết này chỉ nhằm mục đích cung cấp thông tin dưới dạng blog cá nhân, không phải là khuyến nghị đầu tư. Nhà đầu tư cần tự nghiên cứu kỹ lưỡng trước khi đưa ra quyết định và chúng tôi không chịu trách nhiệm đối với bất kỳ quyết định đầu tư nào của bạn.

Theo Nghị quyết số 05/2025/NQ-CP ngày 09/09/2025 của Chính phủ về việc thí điểm triển khai thị trường tài sản số tại Việt Nam, TinTucBitcoin.com hiện chỉ cung cấp thông tin cho độc giả quốc tế và không phục vụ người dùng tại Việt Nam cho đến khi có hướng dẫn chính thức từ cơ quan chức năng.