robots.txt Nedir? SEO Açısından Neden Önemlidir?

Web siteniz arama motorlarında görünür olsun istiyorsanız, tarayıcıların sitenizi nasıl gezdiğini kontrol etmeniz gerekir. İşte tam bu noktada robots.txt dosyası devreye girer. Peki bu dosya nedir ve SEO ile nasıl bir ilişkisi vardır?

robots.txt, arama motorlarına “Bu klasöre gir, buna dokunma” diyen küçük ama güçlü bir komuttur.

robots.txt Nedir?

robots.txt, bir web sitesinin kök dizininde yer alan basit bir metin dosyasıdır. Arama motoru botlarına (örneğin Googlebot) hangi sayfaların taranıp taranamayacağını bildirir.

Neden Önemlidir?

• ✔️ Gereksiz sayfaların taranmasını engelleyerek tarama bütçesini verimli kullanır.
• ✔️ Özel sayfaları (giriş paneli, test sayfaları) arama motorundan gizler.
• ✔️ SEO açısından gereksiz içeriklerin indekslenmesini önler.

Basit Bir Örnek

Aşağıdaki örnek, tüm botlara /admin klasörünü taramamalarını söyler:

User-agent: *
Disallow: /admin/

Dikkat Edilmesi Gerekenler

• Disallow etmek sayfanın indexlenmesini değil, taranmasını engeller. Sayfa başka yollarla (örneğin backlink) hâlâ indexlenebilir.
• Google Search Console üzerinden robots.txt test aracıyla dosyanızı kontrol edin.
• Yanlış ayar tüm siteyi Google’dan gizleyebilir!

robots.txt ile SEO Arasında Nasıl Bir İlişki Var?

robots.txt dosyası, on-page SEO‘nun önemli bir parçasıdır. Doğru yapılandırıldığında tarama bütçesini verimli kullanır, yanlış yapılandırıldığında sitenizin arama sonuçlarında çıkmamasına neden olabilir.

robots.txt Dosyası Nerede Bulunur?

Genellikle şu konumda yer alır: www.siteniz.com/robots.txt. Web sitenize ait sunucu erişiminiz varsa bu dosyayı doğrudan düzenleyebilirsiniz.