Yapay Zekâ Tarayıcı Erişim Denetleyicisi

Giriş

Yapay zekâ tarayıcıları siteleri iki ayrı sebeple geziyor: biri yanıt üretirken sizi kaynak göstermek, öteki model eğitmek. İkisi ayrı tarayıcı, ayrı satır, ayrı sonuç.

Bu ayrımı bilmeyen pek çok site "yapay zekâyı engelleyelim" diye robots.txt'ye toplu bir blok yazıyor ve farkında olmadan kendini ChatGPT aramasından, Perplexity'den ve Copilot'tan siliyor. Kaybedilen şey eğitim değil, görünürlük.

Araç sitenizin robots.txt dosyasını okuyup her tarayıcıyı tek tek değerlendiriyor: hangisi girebiliyor, hangisi kapalı ve kararı hangi satır verdi. Yanıt tarayıcıları ile eğitim tarayıcıları ayrı sayılıyor, çünkü ölçülen iki farklı şey.

Yapay zekâ tarayıcısı nedir?

Dil modelleri adına internetteki sayfaları okuyan otomatik programlara yapay zekâ tarayıcısı deniyor. İngilizce kaynaklarda AI crawler ya da AI bot adıyla geçiyor; her birinin robots.txt dosyanızda tanıdığı kendine ait bir adı var: GPTBot, ClaudeBot, PerplexityBot, Google-Extended gibi.

Bunlar iki ayrı işe hizmet ediyor ve ayrımı bilmek önemli. Eğitim tarayıcıları modelin öğrenmesi için içerik topluyor; sayfanızı okumaları size doğrudan ziyaretçi getirmiyor. Yanıt tarayıcıları ise kullanıcı bir soru sorduğu anda devreye girip sayfanızı okuyor ve cevabın altında kaynak olarak gösteriyor.

Araç sitenizin robots.txt dosyasını okuyup her tarayıcının tek tek açık mı kapalı mı olduğunu çıkarıyor. Türkçede "AI bot erişim denetimi", İngilizce kaynaklarda AI crawler checker adıyla anılan denetim bu.

Neden ikisini ayırmak gerekiyor?

Çünkü ikisini birden kapatmak çoğu işletme için zararlı bir karar. Eğitim tarayıcısını kapatmak savunulabilir bir tercih: içeriğinizin bir modelin eğitim verisine girmesini istemeyebilirsiniz ve bunun size dönen doğrudan bir karşılığı yok.

Yanıt tarayıcısını kapatmak ise farklı bir şey. Onu kapattığınızda, biri ChatGPT'ye ya da Perplexity'ye sizin işinizi ilgilendiren bir soru sorduğunda sayfanız okunamıyor; cevapta kaynak olarak rakibiniz görünüyor. Kendinizi görünmez yapmış oluyorsunuz.

Yaygın hata, tek bir satırla hepsini kapatmak. Araç bu yüzden iki listeyi ayrı sayıyor ve niyetinize uyan robots.txt satırlarını hazır veriyor.

İki tür tarayıcı, iki ayrı sonuç

Yanıt ve arama tarayıcıları. OAI-SearchBot, PerplexityBot, Claude-SearchBot, Bingbot, Googlebot. Bunlar sizi bir dizine alıyor ve model yanıt üretirken oradan kaynak gösteriyor. Engellemek "yapay zekâya kapandım" demek değil; "yapay zekâ yanıtlarında görünmüyorum" demek. Doğrudan trafik kaybı.

Eğitim tarayıcıları. GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider. Bunlar içeriği model eğitimi için topluyor. Engellemek görünürlüğünüzü etkilemiyor; tamamen içerik hakkı kararı. Kapatmanın bir görünürlük bedeli yok.

En sık yapılan hata bu ikisinin aynı sanılması. GPTBot ile OAI-SearchBot benzer adlar taşıyor ama biri eğitim, öteki ChatGPT'nin arama dizini. İkisini birden kapatan bir site eğitimden çıkarken ChatGPT sonuçlarından da çıkıyor.

Doğru denge çoğu yayıncı için şu: yanıt tarayıcıları açık, eğitim tarayıcıları kapalı. Araçtaki ilk reçete tam olarak bunu yazıyor.

Google'ın AI Bakışı'nın ayrı bir tarayıcısı yok

Sık gelen soru: "AI Bakışı'ndan çıkmak için hangi satırı yazayım?" Cevap rahatsız edici: öyle bir satır yok.

AI Bakışı ve AI Modu ayrı bir tarayıcı çalıştırmıyor; aramanın kendi dizinini okuyorlar. Oradan çıkmanın tek yolu Googlebot'u engellemek, o da klasik arama sonuçlarından tamamen çıkmak demek. Neredeyse hiçbir site için mantıklı bir takas değil.

Google-Extended bunun karşılığı sanılıyor ama değil: o yalnız Gemini eğitimi ve grounding için. Kapatmak aramayı, AI Bakışı'nı ve AI Modu'nu etkilemiyor. Yani Google tarafında eğitimi kapatabiliyorsunuz, yanıtlarda görünmeyi kapatamıyorsunuz.

Aynı ilişki Microsoft tarafında da var: Copilot, Bing'in dizinini kullanıyor. Bingbot kapalıysa Copilot yanıtlarında da yoksunuz. robots.txt testiyle hangi yolların hangi tarayıcıya kapalı olduğunu tek tek görebilirsiniz.

robots.txt bir kilit değil, bir rica

Bir noktayı baştan söylemek gerekiyor: robots.txt gönüllü uyulan bir standart. Dosyayı okuyup uyan tarayıcılar var, hiç bakmayanlar da var. OpenAI, Google, Anthropic ve Perplexity kendi belgelerinde uyduklarını yazıyor; adı bile belli olmayan sayısız kazıyıcı ise okumuyor.

Yani "eğitime kapattım" cümlesinin gerçek karşılığı şu: kurallara uyanlara kapattınız. Gerçekten teknik bir engel istiyorsanız sunucu ya da CDN düzeyinde kullanıcı aracısına ve IP'ye göre engelleme gerekiyor; Cloudflare'in yapay zekâ botlarını tek düğmeyle engelleyen ayarı bunu yapıyor.

İkinci sınır: robots.txt taramayı engelliyor, dizine girmeyi değil. Bir sayfa taranamasa bile başka sitelerden gelen bağlantılar yüzünden dizine girebiliyor. Bir sayfanın hiçbir yerde görünmemesini istiyorsanız doğru araç noindex.

Üçüncüsü: dosyanın tamamı herkese açık. Yazdığınız her satır, sitenizi kimlerin taramasını istemediğinizi de duyuruyor.

Bir tarayıcı yalnız tek gruba uyar

robots.txt'in en çok hata yapılan kuralı bu. Bir tarayıcı dosyadaki bütün grupları toplamıyor; adına en uygun tek grubu seçip diğerlerinin tamamını yok sayıyor.

Somut sonucu şu: User-agent: GPTBot diye bir grup açtıysanız, GPTBot artık User-agent: * grubundaki hiçbir satırı okumuyor. * içinde Disallow: /wp-admin/ yazıyorsa GPTBot orayı serbestçe tarayabiliyor, çünkü o kural onun grubunda değil.

Bu yüzden araç size satır eklerken uyarıyor: aynı tarayıcı için zaten bir grup varsa yenisini eklemeyin, var olanı düzenleyin. İki ayrı User-agent: GPTBot grubu yazmak da işe yaramıyor; standart onları birleştiriyor ama davranış dosyadan dosyaya değişiyor.

Kural çakışmasında karar en uzun kalıba göre veriliyor, eşitlikte izin veren kazanıyor. Bunu robots.txt test aracında adım adım görebilirsiniz.

Hangi reçeteyi seçmeli?

Yanıtlarda görün, eğitime kapat. Düzenli içerik üreten çoğu site için doğru olan bu. Yapay zekâ yanıtlarında kaynak olarak görünmeye devam ediyorsunuz, içeriğiniz model eğitimine girmiyor.

Hepsine açık. Erişimi en geniş tutan seçenek. İçeriğin eğitimde kullanılmasında bir sakınca görmüyorsanız fazladan bir şey yazmanıza gerek yok: robots.txt yasaklamadığını zaten serbest bırakıyor.

Hepsine kapalı. İçeriğini tamamen kapalı tutmak isteyen siteler için. Bedeli açık: ChatGPT, Perplexity ve Copilot yanıtlarında görünmüyorsunuz. Araç bu seçeneği verirken bedeli de yazıyor ve Googlebot ile Bingbot'u bloğa koymuyor; onları engellemek klasik aramadan da çıkmak olurdu.

Hangisini seçerseniz seçin, satırları dosyanın sonuna eklemeden önce var olan grupları okuyun.