Robots.txt Nedir? Arama motoru botlarının en önemli görevlerinden biri, web sitelerini tarayarak arşivlemektir. Eğer web sitenizin bazı bölümlerini arama motoru botlarının erişimine kapatmak istediğinizde, Robots.txt dosyası bu amaç için kullanabileceğiniz yöntemlerden birisidir. dosya oluştururken çok dikkat edilmesi gerekir çünkü yanlış oluşturulmuş bu dosya, web sitenizin önemli bölümlerinin arama motorlarının erişimine kapanması veya bunun tam tersi oluşturulan yanlış dizin ile web siteniz arama motorları tarafından dikkate alınmaz ve taranmasını istemediğiniz tüm dizinler de taranabilir. SEO açısından nasıl bir dosya dizini hazırlanmalı ve nelere dikkat edilmelidir? Hep birlikte inceleyelim.

Robots.txt Nedir? Robots.txt Nasıl Oluşturulur

Robots.txt dosyası belirli standartlara uygun bir şekilde oluşturulmalı ve sitenizin kök dizinine eklenmelidir. Dizinleri oluşturup, hazırlarken aşağıdaki noktalara dikkat etmelisiniz;

Bu dosyanın ;

• web sitenizin kök dizininde yer alması
•  UTF-8 karakter kodlamasına uygun hazırlanması
• Dosyanın URL’i ile site URL’inin aynı olması

Doğru:
Site URL’i: https://www.digiscores.com/
Robots.txt URL’si: https://www.digiscores.com/robots.txt

Yanlış:
Site URL’si: https://www.digiscores.com/
Robots.txt URL’si: https://www.digiscores.com/blog/robots.txt

Komutlar

Yeni bir metin belgesi oluşturarak adını Robots.txt yapalım. Dosya dizini içerisinde iki farklı değişken olacaktır. Bunların anlamları ise şu şekildedir;

• User-agent: arama botunun adını geleceği kısım
• Allow: Bu komut sitenizde hangi sayfaların dizine eklenmesini istediğinizi belirtmeniz içindir.
• Disallow: Bu komut sitenizdeki hangi sayfaların dizine eklenmesini istemediğinizi belirtmeniz içindir.

User-agent: *

Disallow: / temp /

Yukarıdaki dizin; / temp  dışındaki tüm aracıların sitedeki her şeye erişmesini sağlayan bir robots.txt dosyasına aittir.

User-agent: Googlebot

Disallow: / görüntüler /

Disallow: / temp /

Disallow: / cgi-bin /

Googlebot için daha kısıtlayıcı terimler belirten başka bir kayıt daha oluşturulduğunu görüyoruz. Googlebot, bu dosyanızı okumaya başladığında, tüm kullanıcı aracılarına (Googlebot’un kendisi dahil), / temp / dışındaki tüm klasörlere izin verildiğini görecektir. Bu nokta, Googlebot için bilmesi gerekeni öğrendiği yerdir, bu nedenle dosyayı sonuna kadar okumaz ve / temp / – dahil olmak üzere / images / ve / cgi-bin / dahil olmak üzere hiçbir şeyi dizine eklemesini istemediğinizi düşünür. Gördüğünüz gibi, bu dosyanın yapısı basittir , ancak yine de böylesi bir mantık hatasına düşmek kolaydır ve böyle bir durumdan kesinlikle kaçınılması gerekir.