# Yapay Zekâ Tarayıcı Erişim Denetleyicisi

Yapay zekâ yanıtlarında görünmek ile içeriğinizin model eğitimine girmesi ayrı iki şey. Bu araç ikisini ayırıp hangisinin açık olduğunu gösteriyor.

Ücretsiz SEO Araçları · Kaynak: https://kobiseo.com/araclar/ai-tarayici-erisim/

Son güncelleme: 2026-08-26

> Aracın etkileşimli bölümü bu düz metin sürümünde yer almaz; kullanmak için yukarıdaki adrese bakın. Aşağıdaki bölüm aracın ne yaptığını ve arkasındaki kuralları anlatan kalıcı içeriktir.

Yapay zekâ tarayıcıları siteleri iki ayrı sebeple geziyor: biri yanıt üretirken sizi kaynak göstermek, öteki model eğitmek. İkisi ayrı tarayıcı, ayrı satır, ayrı sonuç.

Bu ayrımı bilmeyen pek çok site "yapay zekâyı engelleyelim" diye robots.txt'ye toplu bir blok yazıyor ve farkında olmadan kendini ChatGPT aramasından, Perplexity'den ve Copilot'tan siliyor. Kaybedilen şey eğitim değil, görünürlük.

Araç sitenizin robots.txt dosyasını okuyup her tarayıcıyı tek tek değerlendiriyor: hangisi girebiliyor, hangisi kapalı ve kararı hangi satır verdi. Yanıt tarayıcıları ile eğitim tarayıcıları ayrı sayılıyor, çünkü ölçülen iki farklı şey.

## Yapay zekâ tarayıcısı nedir?

Dil modelleri adına internetteki sayfaları okuyan otomatik programlara **yapay zekâ tarayıcısı** deniyor. İngilizce kaynaklarda **AI crawler** ya da **AI bot** adıyla geçiyor; her birinin `robots.txt` dosyanızda tanıdığı kendine ait bir adı var: `GPTBot`, `ClaudeBot`, `PerplexityBot`, `Google-Extended` gibi.

Bunlar iki ayrı işe hizmet ediyor ve ayrımı bilmek önemli. **Eğitim tarayıcıları** modelin öğrenmesi için içerik topluyor; sayfanızı okumaları size doğrudan ziyaretçi getirmiyor. **Yanıt tarayıcıları** ise kullanıcı bir soru sorduğu anda devreye girip sayfanızı okuyor ve cevabın altında kaynak olarak gösteriyor.

Araç sitenizin `robots.txt` dosyasını okuyup her tarayıcının tek tek açık mı kapalı mı olduğunu çıkarıyor. Türkçede "AI bot erişim denetimi", İngilizce kaynaklarda **AI crawler checker** adıyla anılan denetim bu.

## Neden ikisini ayırmak gerekiyor?

Çünkü ikisini birden kapatmak çoğu işletme için zararlı bir karar. Eğitim tarayıcısını kapatmak savunulabilir bir tercih: içeriğinizin bir modelin eğitim verisine girmesini istemeyebilirsiniz ve bunun size dönen doğrudan bir karşılığı yok.

Yanıt tarayıcısını kapatmak ise farklı bir şey. Onu kapattığınızda, biri ChatGPT'ye ya da Perplexity'ye sizin işinizi ilgilendiren bir soru sorduğunda sayfanız okunamıyor; cevapta kaynak olarak **rakibiniz** görünüyor. Kendinizi görünmez yapmış oluyorsunuz.

Yaygın hata, tek bir satırla hepsini kapatmak. Araç bu yüzden iki listeyi ayrı sayıyor ve niyetinize uyan `robots.txt` satırlarını hazır veriyor.

## İki tür tarayıcı, iki ayrı sonuç

**Yanıt ve arama tarayıcıları.** OAI-SearchBot, PerplexityBot, Claude-SearchBot, Bingbot, Googlebot. Bunlar sizi bir dizine alıyor ve model yanıt üretirken oradan kaynak gösteriyor. Engellemek "yapay zekâya kapandım" demek değil; **"yapay zekâ yanıtlarında görünmüyorum"** demek. Doğrudan trafik kaybı.

**Eğitim tarayıcıları.** GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider. Bunlar içeriği model eğitimi için topluyor. Engellemek görünürlüğünüzü **etkilemiyor**; tamamen içerik hakkı kararı. Kapatmanın bir görünürlük bedeli yok.

En sık yapılan hata bu ikisinin aynı sanılması. `GPTBot` ile `OAI-SearchBot` benzer adlar taşıyor ama biri eğitim, öteki ChatGPT'nin arama dizini. İkisini birden kapatan bir site eğitimden çıkarken ChatGPT sonuçlarından da çıkıyor.

Doğru denge çoğu yayıncı için şu: yanıt tarayıcıları açık, eğitim tarayıcıları kapalı. Araçtaki ilk reçete tam olarak bunu yazıyor.

> OAI-SearchBot, ChatGPT arama özelliğinde web sitelerinin görünmesini sağlamak için kullanılır. Bu tarayıcı, üretken temel modelleri eğitmek için kullanılmaz. GPTBot, üretken yapay zekâ temel modellerini eğitmek üzere içerik toplamak için kullanılır.
> Kaynak: OpenAI: Tarayıcılarımız · https://platform.openai.com/docs/bots

## Google'ın AI Bakışı'nın ayrı bir tarayıcısı yok

Sık gelen soru: "AI Bakışı'ndan çıkmak için hangi satırı yazayım?" Cevap rahatsız edici: öyle bir satır yok.

AI Bakışı ve AI Modu ayrı bir tarayıcı çalıştırmıyor; **aramanın kendi dizinini** okuyorlar. Oradan çıkmanın tek yolu Googlebot'u engellemek, o da klasik arama sonuçlarından tamamen çıkmak demek. Neredeyse hiçbir site için mantıklı bir takas değil.

`Google-Extended` bunun karşılığı sanılıyor ama değil: o yalnız **Gemini eğitimi ve grounding** için. Kapatmak aramayı, AI Bakışı'nı ve AI Modu'nu etkilemiyor. Yani Google tarafında eğitimi kapatabiliyorsunuz, yanıtlarda görünmeyi kapatamıyorsunuz.

Aynı ilişki Microsoft tarafında da var: Copilot, Bing'in dizinini kullanıyor. Bingbot kapalıysa Copilot yanıtlarında da yoksunuz. [robots.txt testiyle](https://kobiseo.com/araclar/robots-txt-test/) hangi yolların hangi tarayıcıya kapalı olduğunu tek tek görebilirsiniz.

> Google-Extended, Gemini uygulamaları ve Vertex AI üretken API'leri için içeriğin kullanılıp kullanılmayacağını yönetmek üzere kullanılan bağımsız bir belirteçtir. Google-Extended, içeriğin Google Arama'da nasıl sıralandığını etkilemez.
> Kaynak: Google Search Central: Google tarayıcılarına genel bakış · https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers

## robots.txt bir kilit değil, bir rica

Bir noktayı baştan söylemek gerekiyor: robots.txt **gönüllü uyulan** bir standart. Dosyayı okuyup uyan tarayıcılar var, hiç bakmayanlar da var. OpenAI, Google, Anthropic ve Perplexity kendi belgelerinde uyduklarını yazıyor; adı bile belli olmayan sayısız kazıyıcı ise okumuyor.

Yani "eğitime kapattım" cümlesinin gerçek karşılığı şu: **kurallara uyanlara** kapattınız. Gerçekten teknik bir engel istiyorsanız sunucu ya da CDN düzeyinde kullanıcı aracısına ve IP'ye göre engelleme gerekiyor; Cloudflare'in yapay zekâ botlarını tek düğmeyle engelleyen ayarı bunu yapıyor.

İkinci sınır: robots.txt **taramayı** engelliyor, **dizine girmeyi** değil. Bir sayfa taranamasa bile başka sitelerden gelen bağlantılar yüzünden dizine girebiliyor. Bir sayfanın hiçbir yerde görünmemesini istiyorsanız doğru araç `noindex`.

Üçüncüsü: dosyanın tamamı herkese açık. Yazdığınız her satır, sitenizi kimlerin taramasını istemediğinizi de duyuruyor.

## Bir tarayıcı yalnız tek gruba uyar

robots.txt'in en çok hata yapılan kuralı bu. Bir tarayıcı dosyadaki bütün grupları toplamıyor; adına en uygun **tek grubu** seçip diğerlerinin tamamını yok sayıyor.

Somut sonucu şu: `User-agent: GPTBot` diye bir grup açtıysanız, GPTBot artık `User-agent: *` grubundaki hiçbir satırı okumuyor. `*` içinde `Disallow: /wp-admin/` yazıyorsa GPTBot orayı serbestçe tarayabiliyor, çünkü o kural onun grubunda değil.

Bu yüzden araç size satır eklerken uyarıyor: aynı tarayıcı için zaten bir grup varsa yenisini eklemeyin, **var olanı düzenleyin**. İki ayrı `User-agent: GPTBot` grubu yazmak da işe yaramıyor; standart onları birleştiriyor ama davranış dosyadan dosyaya değişiyor.

Kural çakışmasında karar en uzun kalıba göre veriliyor, eşitlikte izin veren kazanıyor. Bunu [robots.txt test aracında](https://kobiseo.com/araclar/robots-txt-test/) adım adım görebilirsiniz.

## Hangi reçeteyi seçmeli?

**Yanıtlarda görün, eğitime kapat.** Düzenli içerik üreten çoğu site için doğru olan bu. Yapay zekâ yanıtlarında kaynak olarak görünmeye devam ediyorsunuz, içeriğiniz model eğitimine girmiyor.

**Hepsine açık.** Erişimi en geniş tutan seçenek. İçeriğin eğitimde kullanılmasında bir sakınca görmüyorsanız fazladan bir şey yazmanıza gerek yok: robots.txt yasaklamadığını zaten serbest bırakıyor.

**Hepsine kapalı.** İçeriğini tamamen kapalı tutmak isteyen siteler için. Bedeli açık: ChatGPT, Perplexity ve Copilot yanıtlarında görünmüyorsunuz. Araç bu seçeneği verirken bedeli de yazıyor ve Googlebot ile Bingbot'u bloğa **koymuyor**; onları engellemek klasik aramadan da çıkmak olurdu.

Hangisini seçerseniz seçin, satırları dosyanın sonuna eklemeden önce var olan grupları okuyun.

---

## Sık sorulanlar

Yapay zekâ tarayıcıları hızlı değişiyor ve ortalıkta çok sayıda yarı doğru bilgi dolaşıyor. Aşağıdaki dört soru en sık gelenler; cevaplarda neyin mümkün olduğunu ve neyin olmadığını ayırdık.

### GPTBot ile OAI-SearchBot arasındaki fark ne?

GPTBot, OpenAI'nin model eğitimi için içerik topladığı tarayıcı. OAI-SearchBot ise ChatGPT'nin arama dizinini besleyen tarayıcı.

Fark pratikte şu: GPTBot'u engellerseniz içeriğiniz eğitimde kullanılmaz ama ChatGPT arama yaptığında sizi kaynak göstermeye devam eder. OAI-SearchBot'u engellerseniz ChatGPT sizi hiç gösteremez.

İkisini birden engelleyen siteler genelde yalnız birincisini istiyordu. Araç bu yüzden ikisini ayrı sütunlarda sayıyor.

### Yapay zekâya kapanırsam Google sıralamam düşer mi?

Hayır. `Google-Extended` yalnız Gemini eğitimi ve grounding için; Google kendi belgesinde bunun arama sıralamasını etkilemediğini açıkça yazıyor.

GPTBot, ClaudeBot ve CCBot ise Google'ın hiçbir işine karışmıyor. Eğitim tarayıcılarını kapatmanın arama tarafında bir bedeli yok.

Bedeli olan tek durum, yanlışlıkla Googlebot'u ya da Bingbot'u engellemek. Araç bu ikisini yanıt tarayıcıları listesinde tutuyor ve hazır bloklara koymuyor.

### robots.txt gerçekten engelliyor mu?

Kurallara uyanları engelliyor. robots.txt gönüllü uyulan bir standart; OpenAI, Google, Anthropic ve Perplexity uyduklarını belgeliyor, adı sanı belirsiz kazıyıcılar ise dosyaya hiç bakmıyor.

Gerçekten teknik bir engel istiyorsanız iş sunucu ya da CDN düzeyine çıkıyor: kullanıcı aracısına ve IP aralığına göre engelleme. Cloudflare kullanıyorsanız panelde yapay zekâ botlarını tek düğmeyle engelleyen bir ayar var.

Bir de "engellemek" ile "dizinden çıkarmak" ayrı: robots.txt taramayı durduruyor, dizine girmeyi değil. Sayfanın hiç görünmemesi gerekiyorsa `noindex` gerekiyor.

### Yeni bir yapay zekâ tarayıcısı çıkarsa ne olacak?

Liste elle güncelleniyor; her tarayıcı sağlayıcısının resmî belgesinden alınıyor, blog yazılarından değil. Yeni bir tarayıcı yaygınlaştığında listeye ve hazır bloklara giriyor.

Bu arada `User-agent: *` altına yazdığınız kurallar, adına özel grup açılmamış her tarayıcı için geçerli olmaya devam ediyor. Yani genel kısıtlarınız yeni gelenleri de kapsıyor.

Tersi de doğru: bir tarayıcı için özel grup açtıysanız o tarayıcı `*` grubunu artık okumuyor. Listeyi büyütürken bunu akılda tutmak gerekiyor.

## Kaynaklar

- [OpenAI: Tarayıcılarımız](https://platform.openai.com/docs/bots), OpenAI — resmî kaynak
- [Google Search Central: Google tarayıcılarına genel bakış](https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers), Google — resmî kaynak
- [Anthropic: Tarayıcılarımız ve robots.txt](https://support.anthropic.com/en/articles/8896518), Anthropic — resmî kaynak
- [Perplexity: Tarayıcılar](https://docs.perplexity.ai/guides/bots), Perplexity — resmî kaynak
- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html), IETF — resmî kaynak