WordPress sitenize yeni bir göz atın.

WordPress Robots.txt

0

Web sitenizin arama motorunda ön sayfalarda yer alabilmesi için birtakım hususlara dikkat etmeniz gerekiyor. Bu hususlardan biri de robots.txt dosyasıdır. Arama motorunun web sitenizde hangi sayfalara bakıp bakmayacağını yönlendirmeniz gerekir. Ayrıca site haritanızı da bu dosya içerisinde yolunu belirtmeniz takdirde hem seo optimizasyonunu sağlamış olacaksınız hem de daha kısa sürede index alacaksınız. Arama motorunun işlerini kolaylaştırmak amacıyla robots.txt dosyasına gerekli önemi vermeliyiz.

Arama motorunun botları her yeni açılan siteyi mutlaka ziyaret eder. Bu ziyarette içerikleri, site haritasını kontrol eder ve kaydeder. Böylelikle arama yapıldığı zaman kullanıcıların karşısına doğru bilgileri çıkarır. Web sitenize eklediğiniz her şey arama motoru tarafından algılanır ve indexlenir. Her şeyin index alması çok sakıncalı bir durumdur. Örneğin wordpress sitenize ait birden fazla yazar, eklenti ve etiket bulunuyorsa arama motoru bunları da etiketler. Sayı fazla olduğu durumlarda ise sıralama kaybetmenize neden olur.

Oluşturulan robots.txt dosyalarının temel görevi ise arama motorunu doğru bir şekilde yönlendirmektir, rehberlik yapmaktır. Web sitenize ait robots.txt dosyası olmasa bile arama motorları her şekilde sitenize uğrar ve gerekli taramaları yaparlar. Ancak bu dosyanın eksikliği yüzünden işlemler eksik olabilir ve süreç oldukça uzayabilir. Klasik bir robots dosyası aşağıdaki şekilde olur.

  1. User-agent: *
  2. Disallow: /wp-admin/
  3. Disallow: /wp-includes/
Bunlarda İlginizi Çekebilir

Burada ilk satırdaki yıldızın anlamı, tüm robotların siteyi tarayabilmesine izin vermesi demektir. Disallow olarak belirtilen yollar ise arama motorunun robotlarının bu bölümlere uğramasının yasaklandığı anlamını taşır. Eğer Allow olsaydı bu da robotların o bölümleri gezinmelerine müsaade edildiği anlamını taşırdı. Robots.txt dosyası public_html ya da www klasörünün içerisinde bulunmalı.

Robots.txt Değişikliği ve Yayınlanması

Robots dosyasında değişiklik yapmak istiyorsanız public_html klasörü içerisinden ulaşabilirsiniz. Gerekli değişiklikleri yaptıktan sonra dosyayı kaydetmenizle iş bitmiyor. Robots dosyanızı tekrardan arama motoruna tanıtmanız gerek. Bunun içinde search console hesabınıza girin. Buradan Tarama > robots.txt test aracı sekmesine tıklayın. Karşınıza çıkan ekranda “Gönder” butonuna basın. Ve 3 numaradan bulunan “Google’dan güncelleme yapmasını isteyin.” Seçeneğine tıklayın ve 1 dakika bekleyin. Böylelikle arama motoru, değişikli yapılan robots dosyanızı tanıyacak ve işleme alacaktır.

Web sitenizin arama motoru botları tarafından problemsiz, doğru bir şekilde ziyaret edildiğini anlamak için Tarama > robots.txt test aracı sekmesine giriş yapın. Aşağıda bulunan test et butonuna tıklayın ve problemin olup olmadığını bu şekilde anlayabilirsiniz.

Cevap bırakın

E-posta hesabınız yayımlanmayacak.