Robots.txt dosyası web sitelerin en önemli dosyalarından biridir. Botlara hangi sayfaların taranıp hangilerinin taranmayacağını iletmenin en kolay yoludur. Ancak bu dosyanın içeriği ve oluşturulma şekli siteden siteye değişir. Robots.txt dosyası nedir ve SEO için neden önemlidir diye merak edenler için konuyu burada ana hatlarıyla kısaca ele alacağım.
Robots.txt Dosyası Nedir?
Kısaca ifade edecek olursam robots.txt dosyası, arama motoru botlarına sitenizdeki hangi sayfaların taranması hangilerinin taranmaması gerektiğini belirten metin dosyasıdır. Bu dosya sayesinde sitenizdeki tüm sayfa, dosya veya dizinler için botlara kural koyabilirsiniz. Bazı dosyalarınız için tüm arama motoru botlarına indekslememe yönünde kural koyabileceğiniz gibi, bazı sayfalarınızı belli bir arama motorunun indekslememesi yönünde de kural oluşturabilirsiniz.
Robot engelleme standardı olarak da bilinen robots.txt dosyası nedir konusu özellikle büyük web sitesi sahiplerinin en çok merak ettiği konulardan biridir. Çünkü bu sitelerde çok fazla sayıda sayfa ve dizin vardır. Bunların bir kısmının indekslenmesine gerek olmadığı gibi, bir kısmının zaten hiç indekslenmemesi gerekir. İşte arama motoru botlarına hangi sayfa veya dizinleri indeksleyip indekslememesi gerektiğini anlatmak için robots.txt dosyasını kullanıyoruz.
Örneğin özel bilgilere sahip sayfalar, geçici içerikler veya yorumların indeks almasını istemiyorsanız sitenizin robots.txt dosyasında buna ilişkin kural oluşturmanız gerekir. Bununla birlikte robots.txt dosyası botlar için son derece önemli bir dosyadır. Bu sebeple içindeki komutlardan kesinlikle emin olmanız gerekir. Dizinde yapacağınız en küçük bir hata, sitenizin arama motoru sorgularında indeks başarısı üzerinde olumsuz etki yapar. Dolayısıyla robots.txt dosyası nedir diye merak edenler bunları unutmamalı.
Robots.txt Dosyası Neden Önemli?
Robots.txt dosyası nedir konusunun yanı sıra bu dosyanın niçin önemli olduğu da merak konusudur. Kısaca ifade etmek gerekirse bu dosya, web sitenizin arama motoru sorgularında görünürlüğünü doğrudan etkiler. İndekslemeye kapattığınız sayfalar normal şartlar altında indeks almaz. Fakat çok özel bazı durumlarda botlar, indekslememe kuralına rağmen sayfaları tarayıp indeksleme yapabilir. Bu nedenle bu dosya aslında botların indeksleme yapmasını nihai olarak engellememekte.
Diğer taraftan robots.txt dosyası nedir diye merak edenler için şu noktayı da belirtmekte yarar var. Bu dosya web siteleri zararlı botların saldırılarına karşı korumak için de önemli bir imkan sağlamakta. Zararlı botlar için oluşturacağınız kurallar sayesinde web sitenizi bu botların indekslemesine kapatabilirsiniz. Ancak bunun da nihai bir koruma olmadığını unutmamalısınız. Zararlı botlar için robots.txt dosyasında kural oluşturmak hiçbir şey yapmamaktan daha iyidir.
Zararlı botlar arasında örneğin kullanıcıların hesap ve iletişim bilgilerini ele geçirme, sahte hesap oluşturma, sahte yorum yazma gibi birçok bot mevcut. Bu botlara karşı önlem almazsanız dijital dünyada itibar kaybı riskiyle karşılaşırsınız. Bu bakımdan robots.txt dosyası nedir diye merak edenler bunlara da dikkat etmeli. Çünkü bu dosya SEO performansı ve dijital dünyada görünürlük konusunda son derece önemli bir dosyadır.
Robots.txt Nasıl Oluşturulur?
Robots.txt dosyası nedir ve neden önemlidir diye merak edenler için bu dosyanın oluşturulma şekillerinden de kısaca bahsetmek istiyorum. Nitekim bu dosyayı oluşturmak için farklı yöntemler mevcut. Bunlardan ilki, metin düzenleyici gibi basit bir yazılım kullanarak dosyayı manuel oluşturmaktır. Bu yöntem, komutları doğrudan yazmayı gerektirdiği için başlangıçta biraz zor gelir. Ayrıca az da olsa yazılım bilmeyi gerektirir.
İkinci yöntem ise internette kolayca bulabileceğiniz ücretsiz robots.txt oluşturucu araçlardan faydalanmaktır. Bu araçlar, kullanıcıların basit bir arayüz aracılığıyla site URL’sini ve istedikleri kısıtlamaları belirleyerek dosyayı otomatik olarak oluşturmalarına olanak tanır.
Bu bakımdan teknik bilgisi olmayan kullanıcılar için bu yöntem daha uygundur. Üstelik hata risklerini de en aza indirir. Ancak yine de bu dosyayı kök dizine yerleştirmeden önce kontrol etmekte yarar var. Çünkü küçük bir hata bazı durumlarda tüm site performansına zarar verir. Robots.txt dosyası nedir diye merak edenler bunu unutmamalı.
Manuel Robots.txt Dosyası Oluşturmak
Yukarıda da ifade ettiğim gibi robots.txt dosyası oluşturmak için ilk yöntem, metin düzenleyiciyle manuel oluşturmaktır. Bu yöntemde komutlar dosyaya manuel yazılır. Robots.txt dosyasını oluşturmak için metin düzenleyici programlardan herhangi birini kullanmanız mümkün. Fakat komutları dosyaya adım adım ve doğru şekilde girmeniz gerek. Robots.txt dosyası nedir diye merak edenler bu noktaya özellikle dikkat etmeli.
Manuel robots.txt dosyası oluşturmak için ilk adım hangi kısıtlamaları kullanacağınıza karar vermektir. Bunu yaptıktan sonra dosyayı bazı kurallar çerçevesinde adım adım oluşturabilirsiniz. Bu komutlar arasında en önemlileri ve anlamları şu şekildedir:
User-agent: Bu komut, hangi arama motoru botunun direktifleri izleyeceğini belirtir. Örneğin Googlebot için bir kural yazmak isterseniz ilk satıra
User-agent: Googlebot
ifadesini girmeniz gerekir. Bu ifadenin ardından gelecek komutlar Googlebot’un hangi sayfaları indeksleyip hangilerini indekslemeyeceğini anlamasını sağlar.
Eğer komutun yanına “*” ifadesini koyarsanız bu komut bütün arama motoru botlarını kapsar. Nitekim yıldız karakteri HTML dilinde joker karakterdir. Eğer tüm arama motoru botları için bir kural oluşturmak isterseniz ilk satıra
User-agent: *
komutunu girmeniz gerekir.
Disallow: Bu komut ilgili dosya veya dizin hakkında botlara “indeksleme” der. Başka bir deyişle botlara tarama izni vermez. Örneğin
Disallow: /urunler
komutu sitenizdeki Ürünler dizinindeki sayfalar için botlara “indeksleme” mesajı verir.
Allow: Bu komut ilgili sayfa veya dizinler için botlara “tara” mesajı verir. Bu nedenle Disallow komutunun tersi bir anlam ifade eder. Bu ifadeyi kullanarak oluşturacağınız komutlar botların ilgili sayfa veya dizinleri taraması gerektiğini anlamalarını sağlar.
Sitemap: Robots.txt dosyasında web sitesinin haritası da yer alır. Botların bu haritayı nerede bulacaklarını kolaylaştırmak için site haritasını da robots.txt dosyasında göstermelisiniz. Bu dosyadaki sitemap adresi sayesinde botlar haritayı daha kolay bulup taramayı daha hızlı şekilde gerçekleştirir.
Crawl-delay: Bu komut, botların web sitesini taramasını yavaşlatmak için kullanılır. Sayfa sayısı fazla olan sitelerde tarama sürecinin siteyi yavaşlatmasını önlemek için bu komut kullanılır. Ancak botların bu komutu her zaman dikkate aldığını söyleyemeyiz.
Robots.txt Dosyasında Noindex Komutu Olur Mu?
Robots.txt dosyası nedir diye merak edenler bu dosyanın noindex etiketiyle ilişkisini de merak eder. Bir bakıma her ikisi de benzer bir işleve sahiptir ve botların ilgili sayfayı indekslememesini söyler. Fakat kullanım şekli ve amacı bakımından bu ikisi arasında çok önemli bir fark var.
Sitenizde herhangi bir sayfanın indeks almasını istemiyorsanız kaynak kodlarına noindex etiketini eklemelisiniz. Bu şekilde ilgili sayfayı indekslemeye kapatabilirsiniz. Bu tür tekil durumlarda robots.txt dosyası yerine noindex etiketi kullanmak gerekir. Oysa sitenizde çeşitli dizinlerin, parametre linklerinin, arama sonuçlarının veya filtre sayfalarının indekslenmesini istemiyorsanız robots.txt dosyasında kural oluşturmanız gerekir. Dolayısıyla bu iki yapının kullanım şekli ve amacı birbirinden çok farklı. Robots.txt dosyası nedir diye merak edenler bu iki yapıyı birbirine karıştırmamalı.
Peki robots.txt dosyasında noindex komutu olur mu? Bundan uzun zaman önce noindex komutu robots.txt dosyalarında kullanılıyordu. Fakat botlar artık bunu dikkate almıyor. Sitenizde herhangi bir sayfa özelinde indekslememe komutu vermek istiyorsanız kaynak kodlarına noindex etiketi ekleyebilirsiniz. Bu sayfayı noindex veya disallow komutuyla tekrar robots.txt dizininde belirtmenize gerek yok.
Oluşturucu Araçlarla Robots.txt Dosyası Hazırlamak
Robots.txt dosyası nedir ve nasıl oluşturulur diye merak edenler bu konuda oluşturucu araçların kullanımını da merak etmekte. Kısaca ifade edecek olursam oluşturucu araçlarla robots.txt hazırlamak, web sitenizin tarama davranışını yönetmenize yardımcı olan pratik bir yöntemdir. Bu tür araçlar genellikle kullanıcı dostu arayüzlere sahiptir. Böylelikle süreçleri ciddi ölçüde kolaylaştırır.
Örneğin WordPress site kullanıyorsanız Eklentiler kısmından indireceğiniz Robots.txt eklentisiyle kendi robots.txt dosyanızı kolayca oluşturabilirsiniz. Bu dosyayı sunucunuzda public_html klasörüne atmanıza gerek kalmadan bu eklentiyle de kolaylıkla oluşturmanız mümkün. Robots.txt dosyası nedir diye merak edenler için bu bilgi önemli bir kolaylık sağlar.
Veya Yoast SEO kullanıyorsanız eklentiyi indirdiğiniz anda zaten otomatik olarak robots.txt dosyanız oluşmakta. Eğer bu dosyaya farklı birtakım komutlar eklemek isterseniz Araçlar kısmındaki Dosya Düzenleyicisi bölümünü tıklayın. Bu kısımda karşınıza robots.txt dosyası çıkacaktır. İstediğiniz kuralları oluşturduktan sonra değişiklikleri kaydedip çıkabilirsiniz.
Karşılaşabileceğiniz Hatalar
Robots.txt dosyası nedir diye merak edenler için konuyla ilgili en yaygın hatalardan da kısaca bahsetmek istiyorum. Bunların başında yanlış sözdizimi geliyor. Komutların doğru şekilde ayrılmaması ve yanlış komutların kullanılması işleri çıkmaza sokabilir. Bu tür durumlarda bazı sayfalarınız indeks almaz ve SEO performansınız düşer.
Bu konuda en yaygın hatalardan bir diğeri dosya formatına dikkat etmemektir. Dosyanız mutlaka .txt formatında bir metin dosyası olmalı. Bunun dışındaki dosyalar botlar tarafından görülmemekte. Ayrıca kullanıcı aracısını (User-agent) ve izin verme/engelleme (Allow/Disallow) komutlarını baş harfleri büyük şekilde belirtmelisiniz. Robots.txt dosyası nedir diye merak edenler için bu da önemli bir püf noktasıdır.
Bu bakımdan siteniz için manuel robots.txt dosyası hazırlayacaksanız mutlaka Notepad++ gibi metin dosyası programları kullanmalısınız. Ayrıca manuel veya oluşturucu araçla hazırladığınız dosyayı yüklemeden önce son bir kez daha kontrol etmenizde yarar var.
Bu konuda en yaygın hatalardan bir diğeri robots.txt dosyasını yanlış adla kaydetmek veya yanlış bir yerde tutmaktır. İster manuel ister oluşturucuyla hazırlanmış olsun, robots.txt dosyasını daima bu isimle kaydetmeli ve sitenizin kök dizinine, yani public_html klasörünün içine yerleştirmelisiniz. Dosyanın ismi veya yeri doğru değil ise amacınıza ulaşamazsınız. Dolayısıyla robots.txt dosyası nedir diye merak edenler bunları da unutmamalı.
Robots.txt Dosyasının SEO Performansınıza Etkileri
Robots.txt dosyası nedir, neden önemlidir ve nasıl oluşturulur sorularını cevapladık. Şimdi gelin bu dosyanın SEO performansınız üzerindeki etkilerine değinelim. Çünkü arama motorlarına sitenizin nasıl taranacağını veya indeksleneceğini belirtmeniz SEO performansınızı doğrudan etkiler.
Doğru şekilde yapılandırılan bir robots.txt dosyası, geliştirdiğiniz site içi SEO stratejisi için olumlu sonuçlar doğurur. Yazacağınız komutlarla bazı dizin veya dosyaları indekslemeye kapatabilirsiniz. Böylelikle tarama bütçesini daha verimli şekilde kullanmış olursunuz. Fazla sayfası olan siteler için bu çok önemli bir konudur. Bu dosyayı doğru şekilde kullanarak SERP’lerde kaliteli içeriklerinizin indekslenmesini sağlamanız mümkün.
Diyelim ki bir e-ticaret siteniz var. Ve sitenizde binlerce ürün satışı gerçekleştiriyorsunuz. Sitenizde ürün sayfalarının dışında başka pek çok sayfa daha olacaktır. Ancak bunların indeks alması ürün sayfalarınızın otorite puanını düşürür. Bunu önlemek için diğer tüm parametre sayfalarını robots.txt dosyanıza disallow komutuyla girebilirsiniz. Böylelikle SERP’lerde sadece ürün sayfalarınız çıkar. Bu sayfaların otoritesi zaman içinde artar. Tabii bu durum trafik ve ciro artışını da orta ve uzun vadede getirir. Robots.txt dosyası nedir diye merak edenler bunları unutmamalı.