Arama motorlarına yol gösteren Robots.txt, küçük bir komut seti bulundurur. Robots.txt dosyası oluşturma ardından içerisinde bulunan komutlar, arama motorlarını başarılı bir şekilde yönetmenize yardımcı olur.
Robot.txt Nedir?
Günümüzde bulunan çoğu arama motoru, kullanıcı tarafından bir sorgu yapıldığında Robots.txt dosyasını ilk olarak okur. Ardından buradaki komutlardan hareket ederek, sitenin genelini kontrol eder. Her ne kadar Bing, Google ve Yandex söz konusu dosyayı desteklese de, tarayıcılar komutları kesin olarak tanımak zorunda değildir.
Bu sebeple web sitelerinizde bu dosyayı kullanmak ya da kullanmamak, tamamen sizin inisiyatifinize bağlıdır.
Robots.txt Dosyası Ne İşe Yarar?
Eğer bu dosyayı hazırlamak istiyorsanız, ilk olarak “robots.txt” dosyası açmanız gerekir. Bu yalnızca ve kesinlikle küçük harflerden oluşur ve kök dizine eklenir. Karakter yapısı da UTF-8 formatında bulunmalıdır. Ayrıca kullandığınız protokole uygun olmalıdır.
Bu dosya içerisine temel olarak user-agent ve disallow kelimeleri kullanılır. User-agent protokol istemcilerinin genel adı olup, Google tarafından kullanılanlar şöyledir;
- Googlebot: Temel indeksleme robotudur.
- APIs-Google: API servis robotudur.
- Mediapartners-Google: Reklam servisine üye sitelerde kullanılır.
- Googlebot-Image: Görsel robotu görevini yapar.
- Googlebot-News: Haber robotu görevini yapar.
- AdsBot-Google-Mobile: iPhone site reklam kalitesini kontrol eder.
- AdsBot: Masaüstü web sayfası reklam kalitesini kontrol eder.
- Googlebot-Video: Video robotu görevini yapar.
- AdsBot-Google-Mobile-Apps: Android uygulama sayfası reklam kalitesini kontrol eder.
- Mediapartners (Googlebot): Reklam servisine üye sitelerde kullanılır.
- AdsBot-Google-Mobile: Android site reklam kalitesini kontrol eder.
Metin içerisinde kullanılan disallow ise bir URL’ye erişilmemesi gerektiğini ifade eder. Eğer dosya oluştururken user agent kısmını her tarayıcıya genel kural olarak belirtmek isterseniz yıldız işareti eklemeniz yeterlidir.
Robots.txt Nasıl Olmalı?
Her ne kadar Robots.txt dosyası temel olarak iki anahtar kelime bulundursa da, bunlardan başka seçenekler de vardır. Robots.txt dosyası oluşturma öncesinde bunları da bilmek, daha iyi planlama yapmanıza yardım edecektir;
- Crawl-delay: Sunucu üzerinde aşırı yükleme bulunuyorsa, indirme istekleri yetişemiyorsa kullanılır. Böylece bir sayfanın indirme işleminin sona ermesi ile bir sonrakinin başlaması arasındaki süre tespit edilir. Bu süre saniye bazındadır.
- Sitemap: Sitemap’iniz XML tabanlıysa bunu ekleyerek, arama motorunu konu hakkında bilgilendirebilirsiniz.
Burada farklı seçenekler de mevcut olup, arama motorlarına taraması esnasında yön vermeniz sağlanır.
Robots.txt Dosyası Nerede Kullanılır?
Robots.txt her ne kadar arama motoru sıralamasında kullanılsa da, farklı amaçlara yönelik olarak da kullanılabilir. Örneğin siteniz henüz yapım aşamasındaysa ya da genel bakıma almışsanız da kullanmanız mümkündür.
Bu süreçte arama motorlarının sizi listelemesini istemeyeceğiniz için buna kullanmak oldukça avantajlıdır. Zira listelemeleri durumunda sitenize erişim yapılamayacağı için Google botları daha az puan verecek, böylece listelerde daha aşağıda yer alma durumu oluşacaktır.
Bununla beraber Robotx.txt dosyasını bundan sonra değiştirmeniz gerekir. Zira tüm işlemleri yapsanız dahi, gerekli bilgilendirmeyi sağlamazsanız motorlar sizi yine de sıralamayacaktır.
Robots.txt Dosyası Örnekleri Nelerdir?
Eğer web siteniz hâlâ yeniyse, bu dosyayı oluşturma yönünde Robots.txt example seçeneklerini kontrol etmek, size ayrıntılı bilgi verecektir. Bunlardan bazıları şöyledir;
- User-agent: Googlebot-Image
- Disallow: /ozel/
- User-agent: AdsBot
- Disallow: /nogooglebot/
Eğer “nogooglebot” yazarsanız, botların ilgili kısma erişme izni olmayacaktır. Ancak bu geçici bir süre olacaksa, sizin manuel olarak bunu silmeniz gerekir. Bu dosyayı oluşturmak her ne kadar karışık gibi gelse de, oldukça kolaydır.
Sadece hangi kodları kullanmak istediğinizi bilmeniz ve ardından değişiklikleri kaldırmayı unutmamanız yeterlidir.
