Robots & Sitemap Kontrol

robots.txt ve sitemap.xml dosyalarınızı parse eder, crawl kurallarını ve URL sayısını analiz eder. Teknik SEO sağlığınızın ilk kontrolü.

robots.txt ve sitemap.xml otomatik olarak aranır.

Rehber

Robots.txt ve sitemap kontrolü neden yapılmalı?

Robots ve sitemap kontrol aracı; arama motorlarının sitenizi taramasını etkileyen robots.txt kurallarını, sitemap bildirimlerini ve URL listesi sinyallerini inceler. Yanlış bir disallow kuralı kritik sayfaların görünürlüğünü düşürebilir.

Arama niyeti

Robots.txt kontrol, sitemap sorgulama, indeksleme kontrolü ve SEO teknik kontrol aramalarında kullanıcının tarama erişimi durumunu hızlıca anlamasını sağlar.

Sonuçtan sonra önerilen akış

  • Kritik sayfaları engelleyen robots kurallarını kaldırın.
  • Sitemap URL'lerini güncel ve erişilebilir tutun.
  • SEO analiz ve Core Web Vitals sonuçlarıyla birlikte sayfa kalitesini değerlendirin.

robots.txt Nedir ve Neden Önemli?

robots.txt, sitenizin kök dizininde (/robots.txt) bulunan ve arama motoru crawler'larına hangi sayfaları taramalarına izin verildiğini söyleyen düz bir metin dosyasıdır. Googlebot, Bingbot, Yandexbot gibi botlar site ziyaretine başlamadan önce bu dosyayı okur ve kurallara uyar.

robots.txt'de yapılan bir hata ciddi sonuçlara yol açabilir. En tehlikelisi yanlışlıkla Disallow: /yazmaktır — bu tek satır sitenizin tamamını arama sonuçlarından siler. Diyarbakır'daki bazı KOBİ sitelerinde bu hataya rastlıyoruz; çoğunlukla geliştirme aşamasında eklenip unutulmuş oluyor.

sitemap.xml Google'a Nasıl Yardımcı Olur?

sitemap.xml, sitenizin tüm önemli URL'lerini tek bir XML dosyasında listeleyen ve Google'a "bu sayfaları bilmeni istiyorum" demenin en temiz yoludur. Crawler sayfalar arasındaki linkleri takip ederek tüm siteyi keşfedebilir ama büyük veya kompleks sitelerde bazı sayfaları gözden kaçırabilir. Sitemap bu riski ortadan kaldırır.

Google her sitemap için en fazla 50.000 URL ve 50 MBsınırı koymuştur. Daha büyük siteler için sitemap index kullanmanız gerekir — bir index birden fazla alt sitemap'e işaret eder. E-ticaret siteleri, haber portalları ve büyük bloglar bu yapıyı kullanır.

Yaygın robots.txt Hataları

  • Disallow: / yazıp unutmak: Tüm site crawl'dan kaldırılır. Geliştirme bitince mutlaka kaldırılmalı.
  • Sitemap satırı eksik: Google sitemap'inizi tahmin etmek zorunda kalır.
  • CSS/JS bloklamak: Modern Google render eder; CSS ve JS'i bloklarsanız sayfa düzgün indekslenemez.
  • Case-sensitive path sorunları: URL path'leri büyük-küçük harfe duyarlıdır.
  • robots.txt'i güvenlik için kullanmak: Bu dosya public'tir, hassas path'leri bu şekilde gizleyemezsiniz — aksine saldırganlara yol gösterir.

Sık Sorulan Sorular

robots.txt zorunlu mu?

Hayır, zorunlu değil. robots.txt olmayan bir site varsayılan olarak tüm botlara açık kabul edilir. Ancak SEO best practice olarak eklemeniz önerilir, en azından sitemap'i deklere etmek için.

Disallow ile noindex farkı nedir?

Disallow crawler'a sayfayı taramamasını söyler, noindex ise taradıktan sonra indekse eklememesini. Disallow edilmiş bir sayfa Google sonuçlarında 'açıklama yok' olarak görünebilir çünkü Google URL'i bilir ama içeriği okuyamaz. Sayfayı tamamen gizlemek için noindex meta tag daha etkilidir.

Sitemap'imi nereye bildirmeliyim?

En kolay yol robots.txt'e 'Sitemap: https://...' satırı eklemek. Ayrıca Google Search Console ve Bing Webmaster Tools'a manuel olarak da eklemenizi öneririz — bu sayede crawl durumunu takip edebilirsiniz.

Birden fazla sitemap olabilir mi?

Evet. Büyük siteler için sitemap index yapısı kullanılır — tek bir 'sitemap_index.xml' birden fazla alt sitemap'e (örn sitemap-urunler.xml, sitemap-bloglar.xml) işaret eder. Her alt sitemap maksimum 50.000 URL içerebilir.