İndekslenebilirlik Denetleyicisi

Giriş

"Sayfam neden Google'da yok?" sorusunun cevabı tek bir yerde yazmıyor. Dört ayrı yerden geliyor: robots.txt, sunucunun döndürdüğü durum kodu, sayfadaki robots etiketi ve canonical.

Bu dördü ayrı ayrı denetlendiğinde en sık yapılan hata görünmüyor, çünkü hata tam olarak aralarındaki ETKİLEŞİMDEN doğuyor: bir sayfaya noindex yazıp aynı adresi robots.txt'te de engellemek. Google sayfayı tarayamadığı için etiketi göremiyor ve adres dizinde kalmaya devam ediyor.

Araç dördünü birlikte okuyup tek bir cevap veriyor ve o cevabı hangi satırın verdiğini gösteriyor.

İndekslenebilirlik nedir?

Bir sayfanın arama motoru tarafından dizine eklenebilir durumda olup olmadığına indekslenebilirlik deniyor. Türkçede "dizine eklenebilirlik" karşılığı da kullanılıyor; İngilizce kaynaklarda indexability olarak geçiyor.

Sık karıştırılan iki kavram var. Taranabilirlik (crawlability) arama motorunun sayfaya ulaşıp okuyabilmesi; indekslenebilirlik ise okuduktan sonra dizine ekleyebilmesi. Bir sayfa taranabilir olup dizine eklenemez olabiliyor.

Karar tek bir yerden çıkmıyor. Dört ayrı sinyal aynı anda konuşuyor: robots.txt kuralı, sayfadaki meta robots etiketi, sunucunun gönderdiği X-Robots-Tag başlığı ve canonical etiketi. Araç dördünü birlikte okuyup sonucun ne olduğunu söylüyor.

En sık yapılan hata hangisi?

noindex ile robots.txt engelini aynı anda kullanmak. İlk bakışta mantıklı görünüyor: hem tarama kapatılsın hem dizine girmesin. Oysa ikisi birlikte tam tersini yapıyor.

Sebep şu: robots.txt sayfanın taranmasını engelliyor. Taranamayan bir sayfanın içindeki noindex etiketi de okunamıyor. Google o sayfayı okuyamadığı için ne dediğini bilmiyor; dışarıdan bağlantı almışsa adresi yine de dizinde tutabiliyor, üstelik içeriğini bilmeden.

Doğru yol tek başına noindex bırakmak ve sayfayı taranabilir tutmak. Google etiketi okuyup sayfayı dizinden çıkarıyor. Bir de yayına alırken unutulan durum var: geliştirme sırasında konan noindex satırının canlıda kalması. Bu araç en çok o hatayı yakalıyor.

Dört sinyal, belirli bir sıra

1. robots.txt. Sayfa taranabiliyor mu? Taranamıyorsa geri kalan üç sinyal zaten okunamıyor.

2. Durum kodu. Sayfa açılıyor mu? 404 ya da 500 dönen bir adres dizine giremiyor. Yönlendirme varsa karar, zincirin SONUNDAKİ adrese göre veriliyor.

3. Robots etiketi. meta robots ya da X-Robots-Tag başlığında noindex varsa dizine girmek açıkça yasaklanmış oluyor. none değeri de noindex, nofollow demek.

4. Canonical. Sayfa başka bir adresi işaret ediyorsa "asıl olan o" demiş oluyor ve bu adres dizine girmiyor.

Sıra önemli çünkü en erken kesen sebep kararı veriyor. Araç bu yüzden yalnız "girer/girmez" demiyor, hangi adımda kesildiğini de yazıyor.

noindex ile robots.txt engelini birlikte kullanmayın

Bu, teknik SEO'da en sık ve en pahalı hata. Mantık şöyle kuruluyor: "Bu sayfa dizinde olmasın; hem noindex yazayım hem robots.txt'te engelleyeyim, garanti olsun."

Oysa ikisi birlikte tam tersini yapıyor. Google adresi TARAYAMADIĞI için sayfanın içindeki noindex etiketini hiç göremiyor. Adres, başka sitelerden gelen bağlantılar yüzünden dizinde kalabiliyor ve arama sonuçlarında başlıksız, açıklamasız bir satır olarak görünüyor.

Doğru yol: sayfayı dizinden çıkarmak istiyorsanız robots.txt engelini kaldırın ve yalnız noindex bırakın. Google sayfayı tarayıp etiketi görsün ve dizinden düşürsün. Adres dizinden çıktıktan sonra isterseniz engeli geri koyabilirsiniz.

Araç bu çakışmayı ayrı bir bulgu olarak işaretliyor, çünkü iki sinyal tek tek bakıldığında ikisi de doğru görünüyor.

Taranamamak, dizinde olmamak demek değil

robots.txt bir TARAMA kısıtı; dizine girmeyi engellemiyor. Bu ayrım sürekli karıştırılıyor.

Engellenen bir adres, başka sitelerden gelen bağlantılar sayesinde dizine girebiliyor. Google içeriği okuyamadığı için başlık ve açıklama üretemiyor; sonuçta arama sayfasında çıplak bir adres satırı görünüyor.

Bu yüzden araç robots.txt engeli gördüğünde "dizine giremez" demiyor, "belirsiz" diyor. Kesin konuşmak yanlış bilgi vermek olurdu.

Bir adresin hiçbir yerde görünmemesi gerekiyorsa doğru araç noindex; erişimin tamamen kapanması gerekiyorsa şifre koruması ya da sunucu düzeyinde engel gerekiyor. robots.txt ikisini de yapmıyor.

Canonical başka yeri gösteriyorsa sayfa dizine girmiyor

Canonical, "bu içeriğin asıl adresi şudur" demek. Sayfa kendisinden başka bir adresi işaret ediyorsa Google asıl adres olarak onu tercih ediyor ve bu adresi dizine almıyor.

Genelde istenen budur: izleme parametreli sürümler, sayfalama kopyaları ve büyük/küçük harf farkları tek bir adreste toplanıyor. Sorun, canonical'ın YANLIŞLIKLA başka bir sayfaya bakması. Şablon hatasıyla bütün sayfaların ana sayfayı işaret ettiği siteler az değil.

Araç canonical'ı yönlendirmelerden SONRAKİ adresle karşılaştırıyor. Karşılaştırmada şema, www ve sondaki eğik çizgi farkı yok sayılıyor; bunlar aynı sayfayı gösteriyor.

Canonical'ın kendisi bir yönlendirmeye ya da 404'e bakıyorsa sinyal boşa gidiyor. Hedefi ayrıca yönlendirme denetleyicisiyle kontrol edin.

Karar, zincirin sonundaki adrese göre veriliyor

Yazdığınız adres yönlendiriyorsa denetlenen şey artık o adres değil, vardığı yer. Araç zinciri adım adım gösteriyor ve kararı son adrese göre veriyor.

Zincirdeki her adım tarama bütçesi harcıyor. İkiden fazla adım varsa araç uyarıyor: http → https → www → son adres gibi zincirler tek adıma indirilebilir.

meta refresh de bir yönlendirme sayılıyor ve zincire dahil ediliyor. Sunucu 200 dönerken sayfanın kendisi başka yere gönderiyorsa kullanıcı yine yönlendirilmiş oluyor.

Zincirin ortasında http varsa bu ayrıca bir sorun: zincir aracında karışık protokol ayrıca işaretleniyor.