Cloudflare đã bắt đầu mặc định chặn các trình thu thập dữ liệu trí tuệ nhân tạo (AI) nhằm bảo vệ quyền kiểm soát nội dung của nhà xuất bản trên Internet.
- Cloudflare triển khai cơ chế mặc định chặn AI crawlers để bảo vệ dữ liệu của nhà xuất bản.
- Chương trình Pay per Crawl giúp AI và nhà xuất bản thỏa thuận bồi thường khi truy cập dữ liệu.
- Nhiều nhà phát triển AI lớn như OpenAI phản đối chính sách mới, gây tranh luận về quyền truy cập và tần suất thu thập dữ liệu.
Cloudflare đã làm gì để kiểm soát quyền truy cập của AI bots trên website?
Cloudflare chính thức áp dụng cơ chế chặn AI crawlers theo mặc định cho các domain mới, nhằm trao quyền kiểm soát lại cho các nhà xuất bản nội dung.
Động thái này là sự mở rộng của các công cụ đã được Cloudflare giới thiệu trước đó như tính năng chặn AI bots chỉ bằng một cú click và dashboard theo dõi hoạt động thu thập dữ liệu. Theo CEO Matthew Prince, mục tiêu là cân bằng giữa việc bảo vệ quyền sở hữu nội dung và hỗ trợ phát triển AI.
AI crawlers đã thu thập nội dung một cách không giới hạn. Chúng tôi muốn trao lại quyền kiểm soát cho các nhà sáng tạo, đồng thời giúp các công ty AI tiếp tục đổi mới.
Matthew Prince, CEO Cloudflare, tháng 7 năm 2025
Khác với các dịch vụ CDN truyền thống giúp cải thiện tốc độ truy cập web, Cloudflare giờ đây yêu cầu chủ sở hữu website phải xác định xem AI bots có thể truy cập dữ liệu hay không, hoặc hoàn toàn chặn truy cập.
Chương trình Pay per Crawl vận hành ra sao và lợi ích thế nào cho nhà xuất bản?
Pay per Crawl là thị trường trung gian do Cloudflare vận hành, cho phép nhà xuất bản và công ty AI thỏa thuận mức phí khi AI bots thu thập dữ liệu.
Cả hai bên đều cần đăng ký tài khoản trên Cloudflare để thiết lập thỏa thuận, giúp đảm bảo quyền lợi cho nhà xuất bản bằng doanh thu từ việc cấp quyền truy cập dữ liệu, đồng thời làm minh bạch nguồn và mục đích của AI crawlers.
Tại sao một số nhà phát triển AI phản đối chính sách mới của Cloudflare?
OpenAI và một số công ty khác từ chối tham gia chương trình, phản đối việc Cloudflare trở thành bên trung gian giữa nhà xuất bản và phát triển AI.
OpenAI khẳng định họ luôn tuân thủ tệp robots.txt để tôn trọng lựa chọn của website về việc cho phép crawlers truy cập. Tuy nhiên, một phân tích của Cloudflare cho thấy tỉ lệ thu thập dữ liệu của OpenAI vượt xa lượng truy cập giới thiệu: khoảng 17.000 lần thu thập dữ liệu trên mỗi lượt truy cập thực tế, so với Google là 14 lần.
AI crawlers đã gây áp lực lớn lên trang web và ảnh hưởng tiêu cực đến trải nghiệm người dùng. Nếu hệ thống của Cloudflare hoạt động hiệu quả, nó giúp giới hạn khả năng thu thập dữ liệu quy mô lớn của các bot AI.
Matthew Holman, luật sư công nghệ, 2025, CNBC
Phản ứng của các nhà xuất bản và tầm quan trọng của việc kiểm soát dữ liệu?
Nhiều hãng truyền thông lớn như TIME, The Associated Press, Conde Nast, The Atlantic, ADWEEK và Fortune cam kết chặn AI bots theo mặc định.
Trong khi truyền thống, các nhà xuất bản chấp nhận việc Google thu thập dữ liệu để đổi lấy lượng truy cập và doanh thu quảng cáo, thì hiện nay các nền tảng AI không mang lại sự tương tác hay kinh tế tương tự, dẫn tới nhu cầu bảo vệ nội dung gốc trên mạng.
Cloudflare cũng đặt mục tiêu hợp tác với các nhà phát triển AI để các crawlers phải công khai nhận diện và mục đích hoạt động.
Nội dung gốc là điều làm cho Internet trở thành một trong những phát minh vĩ đại nhất của thế kỷ trước. Chúng ta phải chung tay bảo vệ nó.
Matthew Prince, CEO Cloudflare, 2025
Câu hỏi thường gặp
- Cloudflare chặn AI crawlers có ảnh hưởng gì đến người dùng thông thường?
- Việc chặn AI crawlers không làm ảnh hưởng trải nghiệm người dùng truy cập bình thường, mà chỉ kiểm soát các bot thu thập dữ liệu tự động.
- Pay per Crawl giúp nhà xuất bản nhận được gì?
- Chương trình giúp nhà xuất bản có doanh thu từ việc cho AI bots truy cập dữ liệu, đảm bảo quyền kiểm soát nội dung.
- Tại sao OpenAI phản đối cơ chế kiểm soát của Cloudflare?
- OpenAI cho rằng Cloudflare tạo ra trung gian không cần thiết và họ luôn tuân thủ robots.txt để tôn trọng website.
- Chính sách mới có làm giảm khả năng phát triển AI không?
- Việc giới hạn truy cập dữ liệu lớn có thể giảm dữ liệu huấn luyện miễn phí, khiến AI phải tuân thủ quy định rõ ràng hơn.
- Nhà xuất bản lớn có đồng thuận với Cloudflare không?
- Hầu hết các hãng truyền thông lớn đã chấp nhận và tham gia chiến dịch bảo vệ nội dung do Cloudflare khởi xướng.