Site haritası ve robots.txt gerçekte ne işe yarar?
İkisi de teknik SEO'nun temel dosyaları ve sık karıştırılıyor. Site haritası Google'a hangi sayfalara bakacağını, robots.txt hangi bölümlere girmeyeceğini söylüyor. İkisini karıştırırsanız sitenizi aramadan silebilirsiniz.
Bu iki dosya hemen her sitede var ama ne yaptıkları sık karıştırılıyor. Site haritası Google'ı belli sayfalara çağırır, robots.txt ise bazı bölümlerin kapısını kapatır.
Site haritası (sitemap.xml)
Sitenizdeki sayfaların listesi. Google'a hangi adreslerin var olduğunu ve bunlara bakması gerektiğini düzenli bir biçimde söyler.
Google sitenizi zaten bağlantıları takip ederek buluyor. Ama hiçbir yerden bağlantı verilmemiş ya da çok derinde kalmış sayfalar gözden kaçabiliyor. Site haritası bu açığı kapatıyor.
İyi bir site haritasında her adresin yanında son değişiklik tarihi yazar. Google hangi sayfayı yeniden ziyaret edeceğine buna bakarak karar verir.
Site haritasına neler girmemeli?
Yönlendirilen adresler (bunların yerine hedef adresi yazın)
Dizine kapattığınız (noindex) sayfalar, çünkü Google'a çelişkili sinyal verirler
404 veren adresler
Yönetim paneli ve giriş sayfaları
Bu sitede site haritası veritabanından otomatik üretiliyor. Bir yazı yayınladığınızda listeye kendiliğinden giriyor, taslağa çektiğinizde çıkıyor. Elle bir şey yapmanız gerekmiyor.
robots.txt
Sitenizin kök dizininde duran düz bir metin dosyası. Arama motoru botlarına hangi bölümleri taramamaları gerektiğini söyler.
Tipik bir robots.txt botlara yönetim paneline ve arama sonuç sayfalarına girmemelerini, geri kalan her yeri taramalarını söyler ve site haritasının adresini verir.
En sık yapılan hata
robots.txt bir sayfayı Google'dan gizlemez. Sadece "bu sayfayı tarama" der. Google o sayfaya başka bir siteden bağlantı bulursa, içeriğini okumadan da arama sonucunda gösterebilir. Üstelik açıklama satırı boş çıkar.
Bir sayfanın aramada hiç görünmemesini istiyorsanız o sayfaya noindex etiketi koyun. Yalnız taramayı robots.txt ile de engellerseniz Google bu etiketi okuyamaz. İkisini birlikte kullanınca tam istemediğiniz sonuç çıkıyor.
Yayına alırken unutulan satır
Geliştirme sırasında siteyi aramaya kapatmak için robots.txt dosyasına "Disallow: /" yazılır. Site yayına alınırken bu satırı silmeyi unutmak, gördüğüm en pahalı hatalardan biri.
Site yayında, her şey çalışıyor ama Google hiçbir sayfayı taramıyor. Bu durum aylarca fark edilmeyebiliyor.
Yayına aldığınız gün siteadresi.com/robots.txt adresini açıp kendi gözünüzle kontrol edin. Otuz saniyenizi alır.