Sitem yapay zekâ tarayıcılarını engelliyor mu, nasıl anlarım?

Engelin dört tipik kaynağı

1. robots.txt. Tarayıcılara hangi bölümlere girebileceklerini söyleyen dosya. Bazı temalar buraya varsayılan kısıtlar koyar; bazı ajanslar "sunucu yükü" gerekçesiyle yapay zekâ tarayıcılarını kapatır.
2. Güvenlik/hızlandırma katmanı. Sitenin önünde çalışan servislerde "yapay zekâ tarayıcılarını engelle" anahtarı bulunur ve bazı hesaplarda açık gelir. İşletmenin bundan haberi olmaz; panelde tek satırlık bir ayardır.
3. Sunucu düzeyinde filtre. Güvenlik duvarı kurallarının bir kısmı tanımadığı kullanıcı ajanlarını doğrudan reddeder.
4. Sayfa düzeyinde etiket. Tek tek sayfalara konulan dizinleme kısıtları, çoğunlukla eski bir çalışmadan kalır ve unutulur.

Engellemenin iki ayrı anlamı

Karıştırılan bir ayrım var. Yapay zekâ tarayıcılarının bir kısmı model eğitimi için sayfa toplar, bir kısmı ise kullanıcı soru sorduğu anda sayfayı çeker.

İkinciyi engellemek, yanıtlarda görünme ihtimalini doğrudan kapatır. Birinciyi engellemek ise ayrı bir tercih meselesidir. Çoğu işletme "içeriğim eğitimde kullanılmasın" diye kapatırken ikisini birden kapatır ve farkında olmadan görünürlüğünü de kapatır.

Otel için doğru tercih genellikle nettir: yanıt anında erişen tarayıcılar açık olmalıdır.

Nasıl anlaşılır

Kesin cevap tahmin ederek değil, sunucu kayıtlarına bakarak verilir. Kayıtlarda yapay zekâ tarayıcılarının isabetleri görünüyorsa erişim vardır; hiç görünmüyorsa ya engel vardır ya da site henüz keşfedilmemiştir.

Bu ikisini ayırt etmek önemlidir çünkü çözümleri farklıdır: birincisi bir ayar meselesi, ikincisi bir keşfedilebilirlik meselesidir. Ayrımı yapmadan müdahale etmek, yanlış sorunu çözmeye çalışmak olur.

Neden ilk bakılacak yer burasıdır

Engelli bir sitede içerik üretmek, kapısı kilitli bir dükkânın vitrinini düzenlemeye benzer. Aylarca çalışılır, hiçbir sonuç alınmaz ve sebebi anlaşılmaz.

Bu yüzden her denetimin ilk adımı erişim kontrolüdür; içerik ve yapısal veri ondan sonra gelir.