Ускоряем индексацию сайта

Ускоряем индексацию сайта
by

Чтобы страницы сайта были видны в поисковой выдаче, они прежде всего должны быть проиндексированы поисковой системой. Но нередко случается так, что у сайта для индексации открыто большое количество бесполезных страниц (дубликаты, технический мусор, служебные страницы и др.). Из-за этого затормаживается корректное ранжирование сайта, поскольку поисковый робот просто не успевает добраться до важных страниц, расходуя краулинговый бюджет на всякий мусор.

Избежать этой проблемы можно, спрятав от индексации ненужные страницы. Есть 2 основных способа: запрет к индексации и склейка страниц. Рассмотрим каждый и разберемся, что лучше применять.

Запрет к индексации сайта

Запретить к индексации определенные страницы можно:

  1. С помощью директивы Disallow в секции для соответствующего юзер-агента поисковика файла robots.txt,
  2. С помощью значения noindex директивы content мета тега robots.

Первый вариант хорош тем, что ваш краулинговый бюджет не будет расходоваться на запрещенные страницы. Второй вариант предполагает, что робот сначала скачает страницы, и только потом поймет, что индексировать их не нужно, а часть бюджета уже потратиться. Поэтому лучше отдавать предпочтение первому способу. Второй выручит вас в том случае, если запрещенные к индексации страницы вдруг содержат внутренние ссылки на страницы, которые, наоборот, должны быть в поисковом индексе. В этом случае директива content мета тега robots кроме значения noindex должна иметь также значение follow, разрешающее поисковому роботу переходить по ссылкам на странице.

Склейка страниц. Как влияет на индексацию сайта?

Основное отличие этого способа от первого состоит в том, что в случае склейки нетекстовые характеристики подклеиваемой страницы (ссылочные, поведенчески и временные факторы) будут суммировать с аналогичными характеристиками основной страницы. В случае же запрета к индексации эта информация будет утеряна. Поэтому если служебные страницы имеют какой-то вес для ранжирования, но вы не хотите, чтобы они индексировались, просто склейте их. Есть 3 способа:

  1. с помощью редиректа с откликом 301 Moved Permanently (когда контент подклечиваемой страницы полностью совпадает с контентом на основной),
  2. с помощью директивы Clean-param в файле robots.txt (только для специальных случаев URL с динамическими параметрами),
  3. с помощью атрибута rel=”canonical” тега <link> (идеально для склейки страниц пагинации).

Заключение

Итак, резюмируем. Если бесполезные страницы не совсем бесполезны и имеют определенный вес в ранжировании, который вы не хотите терять, то выбирайте способ склейки. Это позволит суммировать вес склеиваемой страницы с весом основной.

Если же таких проблем не возникает, то просто запретите к индексации страницы с помощью файла robots.txt.

На этом все. Если у вас остались вопросы по теме — пишите в комментарии.

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (4 оценок, среднее: 5,00 из 5)
Загрузка...


Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Themetf