İyi Bir Robots.txt Hazırlamak İçin Öneriler

Soner İŞBECER
19 ay önce
0
415
iyi-bir-robotstxt-hazirlamak-icin-oneriler-224. Son Güncelleme:11 Aralık 2022 18:30

İçindekiler

Robots.txt nedir? 

Robots.txt, kısaca arama motorlarının web sitelerindeki hangi sayfaları dizinlerine ekleyeceğini söylediğimiz metin dosyalarıdır. Bu dosyalar arama motorları için yol göstermektedir. Takip etmesini istemediğiniz sayfaları Google, Bing, Yandex vb. arama motorlarına söyleyerek, sayfa takibinin kolay olmasını sağlayabilirsiniz.

Robots.txt Ne İçin Kullanılır?

Bir robots.txt dosyası, bir web sitesinin arama motorları tarafından taranmasını kontrol etmek için kullanılan bir dosyadır.

Robots.txt Nasıl Oluşturulur

Robots.txt, basit bir metin dosyası olduğu için; bilgisayarınızda metin dosyası şeklinde isminin "robots.txt" olacak şekilde kolayca oluşturabilirsiniz.

Robots.txt Dosyası Nereye Yerleştirilir?

Robots.txt dosyasının, web sitenizin ana dizinine yerleştirildiğinden emin olun. Örneğin, eğer web siteniz "www.sonerisbecer.com" ise, robots.txt dosyasının URL'si "www.sonerisbecer.com/robots.txt" olmalıdır.

Robots.txt Dosyası için Öneriler

Önerilerim şunlar olacaktır:

  • Dosyayı düzgün bir biçimde düzenleyin. Örneğin, her bir komut satırında bir user-agent ve bir "disallow" komutu olmalıdır. Ayrıca, her satırın başına bir "#" işareti koyarak satırı yorum satırı olarak işaretleyebilirsiniz.

  • Taranmamasını istediğiniz dizinleri ve dosyaları belirtin. Örneğin, eğer "www.sonerisbecer.com/stem" dizinindeki dosyaları arama motorları taramasın istiyorsanız, aşağıdaki gibi bir satır ekleyebilirsiniz:

    User-agent:* Disallow:/stem/

  • Eğer tüm arama motorlarının web sitenizi taramasını istemiyorsanız, "User-agent:*" satırını kullanarak tüm kullanıcı ajanları için geçerli bir kısıtlama belirtebilirsiniz. Ancak, bu genellikle tavsiye edilmez, çünkü arama motorları web sitenizi tarayarak size daha fazla trafik kazandırabilir.

  • robots.txt dosyasını sık sık güncelleyin. Web sitenizdeki değişiklikleri veya kısıtlamaları düzenli olarak güncelleyerek arama motorlarının doğru bir şekilde taramasını sağlayın.

Bu öneriler genel bir yol haritası sağlar, ancak her web sitesinin ihtiyaçları farklı olduğundan, robots.txt dosyasının tam olarak nasıl düzenleneceği konusunda mutlaka bir web geliştirici veya arama motoru optimizasyonu uzmanından yardım alın.

İlginizi Çekebilir

İlk yorum bırakan siz olmak ister misiniz?

SON EKLENENLER