Robots.txt Nedir? Robots.txt Nasıl Oluşturulur?
Robots.txt Nedir? Robots.txt esas olarak sitenizin tarayıcı trafiğini yönetmek, zaman zaman da bir sayfayı Google’ın dışında tutmak için kullanılır. Robots.txt’nin ne için kullanılacağı dosya türüne bağlıdır: Robots.txt dosyası, arama motoru tarayıcılarına sitenizden alabilecekleri ve alamayacakları sayfaları veya dosyaları söyler. Bu yöntem çoğunlukla isteklerin sitenizde yoğunluğa yol açmasını engellemek için kullanılır. Web sayfalarını Google’ın dışında tutmak için kullanılabilecek bir dosya değildir. SEO çalışmalarımızda önemli yer tutar.
Robots.txt Dosyası Hangi Amaçlarda Kullanılır
- Web sitemizin belirli sayfalarını ya da tamamının indexlenmemesini istiyor isek; Robots.txt aracını kullanmamız gerekmektedir.
- Medya Dosyalarının indexlenmemesi için kullanılabilir.
- Kaynak dosyaları, Css, Js dosyalarını engelleyebilirsiniz.
Robots.txt Oluşturma Yöntemleri
- Kural: User-agent: buraya Google botları yazılacak
User-agent: *
Allow: /
Eğer robots.txt dosyanıza yukarıdaki gibi kullanırsanız “ * ” istinasız olarak tüm Google-Botlarının sitemizi tara demektir. Allow => izin vermek
User-agent: *
Disallow: /
Bu örnekte ise Google botlarının sitemizin indexlenmesi istenmiş ancak Disallaw: / izin verme diyerek tüm sayfaların indexlenmesine kapatılması demektedir.
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /yonetim/
Disallow: /kullanici/
Bu dosyası indexleme olarak kural verildi.
User-agent: Googlebot-Image
Disallow: /resimler/kopekler.jpg
Google, sitenizi tekrar taradığında bu komutu görür ve resminizi arama sonuçlarımızdan çıkarır.
Robots.txt Oluşturma Kuralları
- Dosya, robots.txt olarak adlandırılmalıdır.
- Sitenizde yalnızca bir robots.txt dosyası olabilir.
- Robots.txt dosyası, geçerli olduğu web sitesi ana makinesinin kök dizininde bulunmalıdır. Örneğin, http://www.example.com/ altındaki tüm URL’lerde taramayı kontrol etmek için robots.txt dosyası http://www.example.com/robots.txt konumuna yerleştirilmelidir. Bir alt dizine (örneğin, http://example.com/pages/robots.txt) yerleştirilemez.
- Robots.txt dosyası alt alan adları (ör. http://website.example.com/robots.txt) veya standart olmayan bağlantı noktaları (ör. http://example.com:8181/robots.txt) için geçerli olabilir.
- Yorumlar herhangi bir satırda olabilir
Robots.txt Söz Dizimi
- txt bir ASCII veya UTF-8 metin dosyası olmalıdır. Başka hiçbir karaktere izin verilmez.
- txt dosyası, bir veya daha fazla kuraldan oluşur.
- Her kural çok sayıda yönergeden (talimattan) oluşur ve her satırda bir yönerge bulunur.
- Bir kuralda şu bilgiler verilir:
- Kuralın kimin için geçerli olacağı (kullanıcı aracısı)
- Söz konusu aracının erişebileceği dizinler veya dosyalar ve/veya
- Söz konusu aracının erişemeyeceği dizinler veya dosyalar.
- Kurallar yukarıdan aşağıya doğru işlenir ve kullanıcı aracısı, yalnızca bir kural grubuyla eşleşebilir. Bu, belirli bir kullanıcı aracısıyla eşleşen ilk ve en ayrıntılı kural olur.
- Varsayılan olarak bir kullanıcı aracısının Disallow: kuralıyla engellenmeyen bir sayfayı veya dizini tarayabileceği kabul edilir.
Kurallar büyük/küçük harfe duyarlıdır. Örneğin, Disallow: /file.asp kuralı http://www.example.com/file.asp için geçerli olur ancak http://www.example.com/FILE.asp için geçerli değildir.
