Веб дизайн : Как описать sitemap в robots.txt

Если Вы вебмастер или разработчик, тогда естественным Вашим желанием будет видеть разработанные Вами сайты в поисковых результатах. Для этого есть два замечательных файла robots.txt и sitemap. Можно сказать - эти два файла необходимы исключительно для ботов поисковых систем.

robots.txt
Этот файл представляет собой текстовый файл, который должен быть размещён в корневом каталоге сайта. Он говорит поисковым ботам, где смотреть, где не смотреть на Вашем сайте. И как правило, первым что ищут боты поисковых сетей - файл robots.txt. Соответственно для продвижения сайта в поисковых запросах, первое что нам стоит сделать и обратить особое внимание, так это к этому текстовому файлику.
Есть также ряд команд и директив, которые описывают что делать поисковым ботам. В этой статье я хочу обратить внимание лишь на одну - Sitemap. И надеюсь Вам не составит труда, через те-же поисковые системы найти более детальную информацию об остальных командах в robots.txt.

Sitemap
Этот файл дословно переводиться "карта сайта". Этот файл может быть как xml так и просто текстовым файлом. Для него и о нём есть классный сайт - http://www.sitemaps.org/ Для того чтобы описать файл sitemap в файлике robots.txt нам необходимо в robots.txt добавить одну строчку (первую), как в данном примере



Если Вам необходимо добавить несколько sitemap-файлов в robots.txt, это должно выглядить например вот так: