Cloudflare, sitelerin AI tarayıcılarından tarama başına ücret almasına olanak tanıyan bir pazar yeri olan “Pay per Crawl”ı kullanıma sunuyor; Cloudflare kullanan yeni siteler artık varsayılan olarak yapay zeka tarayıcılarını engelleyecek.
Cloudflare, AI tarayıcılarını meşru botlardan ayırmak için ML ve davranış analizini (örneğin, AI Labyrinth) kullanıyor. Pazar yeri standart HTTP durum kodlarını (örneğin 402 “Ödeme Gerekli”) kullanır ve imzalı başlıklar aracılığıyla tarayıcı kimlik doğrulamasını destekliyor. Cloudflare’in 1 Temmuz 2025’te AI tarayıcı kontrolüyle ilgili yaptığı önemli duyuru şu şekilde;
1. Varsayılan Olarak Engellenen AI Botları
Cloudflare artık hizmeti kapsamındaki tüm yeni alanlar için varsayılan olarak AI web tarayıcılarını engelleyecek. Bu, AI botlarının içeriğe erişmek için açık izin almasını zorunlu kılan önceki “katılım” ayarlarını tersine çeviriyor.
2. “Pay‑Per‑Crawl” Pazar Yeri
Yayıncıların şunları yapmasını sağlayan “Pay Per Crawl”ın özel bir betasını tanıttılar:
- İstek başına yapay zeka tarayıcılarına izin vermek, ücretlendirmek veya engellemek.
- HTTP protokolü üzerinden sabit tarama oranları belirleyin.
- Cloudflare ortaklığıyla mikro ödeme temelinde içerikten para kazanın
Geleneksel web trafiği yönlendirmeleri (ör. Google Araması aracılığıyla) azalırken, yapay zeka taramaları (ör. OpenAI’ler) yönlendirme trafiğini büyük ölçüde geride bırakıyor; yönlendirme başına 1.500 taramaya kadar geliyor. Dolayısıyla bu aramalar trafiği ve sunucuları da yoruyor.
Gannett, AP, Time, The Atlantic, Reddit, Pinterest, Condé Nast ve Stack Overflow gibi yayıncılar bunu destekliyor ve bunu içerik oluşturucuları için tazminat ve kontrol sağlayan yeni bir ekonomik model olarak çerçeveliyor.
Cloudflare, yapay zeka kazıyıcı erişimi için izin ve tazminat tabanlı bir modele doğru kayıyor; içerik sahiplerini finansal ve stratejik olarak güçlendirirken, AI firmalarını veri erişimi için pazarlık yapmaya teşvik ediyor.
Kaynak : 