Сен
18
2012

Индексация сайта на Яндексе: можно ли ей управлять?

Индексация сайта на Яндексе: можно ли ей управлять?

Поисковое продвижение сайтов неразрывно связано с понятием индексации. Под данным термином понимается принятие площадки во внимание поисковым роботом. Если сайт не попадает в индекс поисковых систем, то он не отображается в результатах поисковой выдачи, а, следовательно, становится недоступен для пользователя. Сайт может не попасть в индекс с лёгкой руки поисковика, но, к счастью, владелец ресурса имеет возможность воздействовать на данный процесс.

Индексация сайта на Яндексе: можно ли ей управлять?

Смотрите полный видеокурс на iTunes

Когда целесообразна ограниченная индексация?


e2d4290d

Поскольку индексация сайта на Яндексе, а именно он является одним из самых популярных поисковиков, равносильна отражению площадки в результатах поисковой выдачи, то ограничение индексации нужно в тех случаях, когда необходимо не выносить на всеобщее обозревание определённые страницы сайта. Каждый сайт состоит не только из видимых, но и невидимых пользователю разделов, в которых хранится техническая информация, конфиденциальные данные и прочее, что не должно стать достоянием общественности. Поэтому полная индексация сайта на Яндексе не всегда целесообразна, ведь она сделает доступными абсолютно все разделы сайта, включая те, которые должны оставаться за кадром. На практике бесконтрольность индексации может дорого обойтись владельцу сайта. Например, если речь идёт о портале, предоставляющем услуги на условиях анонимности, то информация о клиентах такой площадки должна храниться под грифом строгой секретности. Если же по ошибке поисковая система проиндексирует такую скрытую страницу, то конфиденциальная информация о клиентах, пожелавших остаться инкогнито, станет общедоступной для всех пользователей сети, что является грубым нарушением гражданских прав. В таком случае клиенты имеют полное право подать в суд на компанию, которая не смогла выполнить свои обязательства по обеспечению безопасности личных данных, имеющих конфиденциальный статус.

Как можно ограничить индексацию сайта?

Чтобы индексация сайта на Яндексе была управляемым процессом, то есть зависела не только от поисковой системы, но и подчинялась воле владельца ресурса, необходимо задать соответствующую команду поисковому роботу. Поскольку обычного человеческого языка он не понимает, необходимо «общаться» с ним на языке директив. Для обеспечения взаимодействия между поисковым роботом и владельцем сайта в контексте порядка индексации служит рабочий инструмент Robots.txt, который представляет собой текстовый файл, находящийся в корневом каталоге сайта. Данный файл содержит команды для поисковых роботов относительно полноты индексации сайта. С помощью определённых директив можно «приказать» определённому поисковику полностью или частично выводить площадку на обозрение пользователей или вовсе скрыть её от глаз обитателей сети. К основным директивам, необходимым для отдачи команд поисковикам, относятся User-agent (определяет, для какой именно поисковой системы отданы команды), Allow (разрешает индексацию сайта = снимает запрет на индексацию), Disallow (скрывает сайт или отдельные его разделы от глаз пользователей). Существует также множество дополнительных директив, которые позволяют указывать основное зеркало сайта (Host), путь к файлу карты сайта (Sitemap), устанавливать интервал, периодичность и время загрузки страниц (Crawl-delay, Request-rate и Visit-time соответственно).

Что делать если файл Robots.txt не обнаружен?

Если в корневой директории сайта отсутствует файл Robots.txt, то его можно легко создать с помощью программы «Блокнот». Главное – правильно назвать файл с точностью до символа, ведь, если в названии файла будет допущена хотя бы единая описка, то поисковой робот не обратится к нему, зайдя на сайт, и все прописанные в файле команды будут им проигнорированы. Уже готовый и заполненный директивами файл Robots.txt можно легко проверить на правильность составления. Для этого существует специальный сервисом Яндекс.Вебмастер с его незаменимым инструментом Анализ robots.txt, который по доменному имени сайта выдаёт все ошибки.

© 2012, Деньги-SEO-Деньги. Уважайте чужой труд! При копирование материала делайте ссылку на блог автора.

Об авторе:

Занимаюсь саморазвитием в области seo-оптимизации и сайто-монетизации. http://sharemant.ru/ - мой блог | деньги-seo-деньги - название моего блога Заработай на своём блоге. Лучший заработок на кинотрафике!

Есть 9 коммент. + Добавить

  • Это уже давно все умеют, ничего сложного в том, чтобы заставить Яндекс что-то проиндексировать нету!

    • вот это абсолютно не факт, так как много пользователей на разных формах задают вопросы на данную тему

  • Упраправлять индексацией на самом деле совсем несложно!

  • Как ускорить индексацию пишут многие, а вот как закрыть страницу от индексации я понял не сразу!

    • Ничего сложного, просто используйте директиву Disallow и указывайте адрес страницы либо раздела, который запрещено индексировать.

  • Отличная статейка! Я про роботс.тхт сам совсем недавно узнал!

  • А что если данного файла вообще нет в корне? Это как то скажется на индексации или еще на чем то?

    • Конечно скажется. В таком случае поисковики будут индексировать всё, что найдут на вашем сайте, то есть и файлы админки, и категории и т.д. и т.п.
      К тому же они самостоятельно будут выбирать, как индексировать ваши URL, то есть с префиксом www или же без него, исходя из чего уже Вам придётся продвигать страницы с www или без него.

  • На самом деле все просто — Яндексу нужно только немного помочь!

Оставить комментарий