Robots.txt nedir?

Robots.txt dosyası arama motorlarının botları hangi konuların indexletip hangilerini indexletmeyeceğini belirtmek için kullanılır. Botlar web sitenizin ana dizinindeki robots.txt dosyasına bakarlar bu dosyayı sadece ana dizine koyabilirsiniz.

Robots.txt nasıl yapılır?

[php]#ALL BOTS User-agent: *
Disallow: /konu_adi.html

Disallow: /konu_adi/

Disallow: /kategori/[/php]

şeklinde düzenlersiniz.

Bu konuyla ilgili herhangi bi sorununuz olursa konu altında yorum yaparak belirtirseniz yardımcı oluruz.

robots yapmak, robots.txt nedir, robots.txt yapmak