Файл, используемый для указания или указания веб-ботам, какие страницы и каталоги индексировать или не индексировать. Этот файл должен быть размещен в корневом каталоге на сервере, на котором размещены ваши страницы. Файл должен называться robots.txt и иметь права на чтение. Ниже приведен пример файла robots.txt.

 # robots.txt файл для //www.computerhope.comUser-agent: * Disallow: / directory1 / 
Disallow: / directory2 /

В приведенном выше примере robots.txt первая строка является неисполнимым оператором, который описывает файл. Далее в строке User-agent указывается, какие роботы или боты должны следовать этому разделу файла. В приведенном выше примере * представляет всех ботов. Наконец, следующие две строки - это две директории, которые вы хотите, чтобы боты не индексировали.

Если вы хотите, чтобы бот запрашивал все URL-адреса на вашем веб-сайте, введите имя бота, а затем disallow: с пустым значением, как показано в примере ниже.

 Пользователь-агент: Somebot *
Disallow: 

Интернет-термины, метатеги, робот, SEO-термины, карта сайта, веб-дизайн