«robots.txt» – верно;
Во-вторых, все буквы в названии файла должны быть маленькими, т.е. строчными:
Во-первых, сам файл должен всегда находиться в корневом каталоге сайта на хостинге. Другими словами, роботс.тхт должен быть доступен по адресу Site.ru/robots.txt, где Site.ru адрес сайта.
Корректный файл robots.txt это файл, оформленный по правилам, приведенным ниже.
Файлу robots.txt присущ свой синтаксис, т.е. существуют правила, по которым должен оформляться роботс.тхт. Если правила будут нарушены, то файл будет работать некорректно, что может очень плохо отразиться на индексации сайта поисковиками.
2. Синтаксис файла robots.txt
Файл robot.txt показывает поисковым системам, какой из url-адресов считать главным доменом сайта.
Если вы попытаетесь в браузере набрать зеркало этого блога «www.blog-craft.ru», то браузер автоматически перейдет на «blog-craft.ru», т.е. на главный домен. Так получается из-за того, что на зеркалах настроен серверный редирект, т.е. автоматическое перенаправление с зеркал на главный домен сайта.
Таким образом, главный домен сайта можно назвать основным адресом сайта.
У любого сайта, созданного в сети, есть хотя бы одно зеркало. Например, для блога «Blog-Craft.ru» (главный домен, без www) зеркалом является его абсолютно идентичная копия «www.Blog-Craft.ru» (зеркало, с www). Дело в том, что поисковые системы воспринимают эти два url-адреса (с www и без www), как адреса совершенно разных сайтов. И лишь проиндексировав каждый и сравнив их, поисковики понимают, что один из указанных адресов это зеркало другого. В таком случае, поисковики «склеивают» эти два адреса и пускают в выдачу лишь один из них главный домен сайта.
Зеркало это сайт, который является абсолютно идентичной копией другого сайта. В таком случае url-адреса страниц сайтов совпадают, как совпадает и их контент. Например, у знаменитой социальной сети www.Facebook.com есть такие зеркала:
Чтобы понять, что такое главный домен сайта, давайте разберемся с одним понятием.
Если выражаться точнее, то данный файл создается для того, чтобы запретить поисковикам индексировать какие-то документы сайта, т.к. по умолчанию роботы-индексаторы стараются просмотреть все области вашего веб-ресурса. Помимо этого здесь же указывается путь к карте сайта sitemap.xml, улучшающей индексацию web-сайта поисковиками, а также определяется главный домен сайта.
Файл robots.txt, примеры которого будут приведены чуть ниже, показывает поисковым системам, какие области сайта можно индексировать, а какие нельзя. Он напрямую влияет на поисковое продвижение сайта .
Прежде всего, следует разобраться, а зачем вообще нужен файл robots.txt? Что, если без него можно обойтись, тогда зачем вообще заморачиваться по этому поводу?
1. Что такое robots.txt
Данная статья посвящена созданию файла robotx.txt, его анализу и проверке. Вы найдете примеры правильно составленных robots.txt для блогов wordpress и сможете скачать готовый вариант файла для вашего сайта. Кроме того, в конце статьи вам будут представлены плагины, автоматически создающие «файл правил индексации», и видеоурок по правильному составлению robots.txt.
Создание файла robots.txt одно из самых первых действий при продвижении сайта в поисковых системах. От того, насколько правильно составлен роботс.тхт, зависит качество индексации вашего сайта поисковыми системами. Всего одна опечатка или поставленный в ненужном месте пробел могут негативно сказаться на продвижении сайта в поисковиках. Именно поэтому очень важно подойти к созданию robots.txt со всей серьезностью, а затем не полениться проанализировать и проверить файл на наличие ошибок.
Как создать файл robots.txt
Как создать файл robots.txt | Искусство блоговедения
Комментариев нет:
Отправить комментарий