Google gibi arama motorları web sitenizi incelediğinde, sayfalarınızda rastgele gezinmezler. İçeriğinizi taramak için “örümcek” veya “bot” adı verilen otomatik yazılımlar kullanırlar.
Siteniz büyüdükçe, bu botların web sitenizle nasıl etkileşime girdiğini yönetmek kritik bir hal alır. İşte bu noktada robots.txt dosyası devreye girer. Bu küçük metin dosyasını optimize etmek; teknik SEO’nuzu önemli ölçüde güçlendirebilir, sunucu kaynaklarınızı koruyabilir ve sitenizin dizine eklenme (indekslenme) hızını artırabilir.
Robots.txt Dosyası Nedir?
Robots.txt, web sitenizin kök dizinine (root) yerleştirilen basit bir metin dosyasıdır. Arama motoru botları için bir “trafik polisi” görevi görerek onlara hangi sayfaları ziyaret edebileceklerini ve hangi sayfaları görmezden gelmeleri gerektiğini söyler.
Varsayılan olarak WordPress otomatik olarak sanal bir robots.txt dosyası oluşturur. Ancak bu varsayılan sürüm oldukça temel düzeydedir ve maksimum SEO performansı için optimize edilmemiştir.
Neden Optimize Etmelisiniz?
Eğer bu dosyayı optimize etmezseniz, Google tarama bütçesini (bir botun sitenizde günlük olarak tarayacağı sınırlı sayfa sayısı) giriş paneliniz, eklenti dosyalarınız veya admin arkaplanı gibi işe yaramaz sayfalar için harcayabilir.
Robots.txt dosyanızı optimize etmek, Google’ın enerjisinin %100’ünü kaliteli blog yazılarınızı ve ana sayfalarınızı taramaya ve sıralamaya odaklamasını sağlar.
SEO Uyumlu İdeal WordPress Robots.txt Yapısı
İşte güvenli ve SEO dostu bir WordPress robots.txt dosyası için ideal şablon. Bu kodu doğrudan kopyalayıp sitenize yapıştırabilirsiniz:
Plaintext
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# Arama sonuçlarını ve dahili takipleri engelle
Disallow: /search/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/feed/
# Eklenti ve tema klasörlerini engelle (Tarama bütçesi için önerilir)
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
# XML Site Haritanızın bağlantısını ekleyin
Sitemap: https://siteniz.com/sitemap_index.xml
Kuralların Açıklaması:
- User-agent: * – Bu kuralların tüm arama motoru botları (Google, Bing, Yahoo vb.) için geçerli olduğunu belirtir.
- Disallow: /wp-admin/ – Botların yönetim panelinizi ve giriş alanınızı taramasını engeller.
- Allow: /wp-admin/admin-ajax.php – WordPress, dinamik içerikleri doğru yüklemek için bu özel dosyaya ihtiyaç duyar, bu yüzden buna izin vermeliyiz.
- Disallow: /search/ – Botların site içi arama sonuç sayfalarınızı taramasını engeller. Bu sayede yinelenen (kopya) içerik döngülerinin önüne geçilir.
- Sitemap: – Arama motorlarına site haritanızın tam olarak nerede olduğunu söyler, böylece içeriğinizi daha hızlı dizine ekleyebilirler. (Buradaki
siteniz.comkısmını kendi alan adınızla değiştirmeyi unutmayın!)
WordPress’te Robots.txt Dosyası Nasıl Düzenlenir?
Bu dosyayı oluşturmanın ve düzenlemenin en kolay yolu, Yoast SEO veya Rank Math gibi popüler SEO eklentilerini kullanmaktır.
Yöntem 1: Rank Math SEO Kullanarak
- WordPress panelinizden Rank Math > Genel Ayarlar bölümüne gidin.
- Robots.txt Dosyasını Düzenle seçeneğine tıklayın.
- Yukarıda verilen optimize edilmiş kodu metin kutusuna yapıştırın.
- Değişiklikleri Kaydet butonuna tıklayın.
Yöntem 2: Yoast SEO Kullanarak
- Yoast SEO > Araçlar bölümüne gidin.
- Dosya Düzenleyicisi bağlantısına tıklayın.
- Eğer sitenizde bu dosya yoksa “Robots.txt dosyası oluştur” seçeneğine tıklayın.
- Optimize edilmiş kodunuzu yapıştırın ve Robots.txt ayarlarını kaydet deyin.
Robots.txt Dosyanızı Nasıl Test Edersiniz?
Dosyanızı kaydettikten sonra, yanlışlıkla Google’ın tüm web sitenizi taramasını engellemediğinizden emin olmak için test etmelisiniz.
- Tarayıcınızı açın ve adres satırına şunu yazın:
[https://siteniz.com/robots.txt](https://siteniz.com/robots.txt) - Özel kurallarınızın ekranda göründüğünden emin olun.
- Google Search Console hesabınıza giriş yapın, “URL Denetimi” aracını kullanın ve önemli blog yazılarınızdan birkaçını test ederek botların bu sayfalara erişebildiğini doğrulayın.
Sonuç
WordPress robots.txt dosyanızı optimize etmek, teknik SEO çalışmalarınızda hızlı ve etkili bir kazançtır. Arama motoru botlarını gereksiz yönetim dosyalarından uzaklaştırıp doğrudan kaliteli içeriklerinize ve XML site haritanıza yönlendirerek çok daha verimli bir tarama süreci sağlarsınız. Sadece kuralları uygularken dikkatli olun ve önemli sayfalarınızı yanlışlıkla Google’dan gizlemediğinizden emin olmak için kontrollerinizi yapın!
