Индексация

Чем сканирование отличается от индексации?

Сканирование — это когда поисковый робот читает страницу, а индексация — когда прочитанное анализируется и вносится в поисковый каталог. Отсканированная страница может не попасть в индекс, а попадание в индекс не гарантирует высоких позиций по конкретному запросу.

На этапе индексации Google анализирует текст, тег заголовка, описания фото (alt), изображения, видео и т. д. Если похожих страниц несколько, он объединяет их в группу и показывает в результатах только каноническую страницу.

У Naver похожий процесс. Если сообщить адрес через запрос на сбор или карту сайта, поисковый робот посещает его в порядке приоритета, а в поиске появляются только собранные документы, прошедшие критерии индексации.

Как проверить, проиндексирована ли моя страница?

Самый точный способ — вставить адрес в инструмент проверки URL в Google Search Console и Naver Search Advisor. Поиск через «site:» годится лишь для примерной оценки и не позволяет точно найти выпавшие страницы.

Проверка URL в Naver отдельно показывает, собрана ли страница, может ли быть проиндексирована и проиндексирована ли, а также правильно ли считываются заголовок и описание. Проверка URL в Google показывает и дату последнего сканирования, и адрес, выбранный каноническим.

Число результатов по запросу «site:yourshop.kr» — примерная оценка и может меняться день ото дня. Не пугайтесь, если оно уменьшилось: точнее смотреть динамику числа проиндексированных страниц в отчёте об индексировании страниц Search Console.

1. 01Войдите в Google Search Console и вставьте полный адрес нужной страницы в строку поиска вверху.
2. 02На экране результатов проверьте статус индексации и, если страница не проиндексирована, указанную причину.
3. 03Если страница не проиндексирована, а исправлять нечего, один раз нажмите «Запросить индексирование».
4. 04В инструментах для веб-мастеров Naver Search Advisor выберите сайт и введите тот же адрес в проверку URL.
5. 05Проверьте статус сбора · индексации и то, как считались заголовок и описание, и при необходимости отправьте запрос на сбор веб-страницы в меню запросов.

Что означает статус «Страница просканирована, но пока не проиндексирована»?

Это значит, что Google прочитал страницу, но пока не внёс её в поисковый каталог. Статус виден в отчёте об индексировании страниц Search Console; есть и похожий — «Страница обнаружена, но пока не проиндексирована»: адрес известен, но страница ещё не прочитана.

Среди частых причин отсутствия индексации Google называет низкое качество содержания, настройки, запрещающие индексацию, и структуру сайта, затрудняющую индексацию. Чаще всего сюда попадают страницы с одним фото и строкой описания или почти копирующие другие страницы.

Этот статус ещё не означает проблему. Сразу после запуска он часто снимается со временем, поэтому начните с доработки страниц, которые можно наполнить, и проверьте снова через несколько недель.

• Наполнить содержание: добавить сведения, которые есть только на этой странице, — цены, время, порядок проведения.
• Разобраться с дублями: почти одинаковые страницы объединить или указать каноническую.
• Связать ссылками: поставить ссылки на страницу из меню или связанных статей.
• Проверить снова: через несколько недель посмотреть в проверке URL, изменился ли статус.

Когда и сколько раз запрашивать индексацию?

Достаточно одного запроса на страницу — когда вы опубликовали новую страницу или существенно изменили важное содержание. Google сообщает, что повторные запросы одного адреса не ускоряют сканирование, а на запросы отдельных адресов есть квота.

Naver тоже сообщает, что запросы на сбор обрабатываются не в реальном времени, а по приоритету и могут занимать от одного дня до нескольких недель. Повторять запрос одного адреса каждый день не нужно, а успешный сбор не гарантирует показа в поиске.

Если страниц много или они часто меняются, эффективнее отправить карту сайта, чем запрашивать каждую. Если вы регулярно публикуете статьи в блоге, достаточно настроить автоматическое обновление карты сайта.

Как убрать страницу из поиска?

На страницы, которые нужно убрать из поиска, ставят пометку noindex: вставляют в код страницы <meta name='robots' content='noindex'> или передают её через заголовок ответа сервера X-Robots-Tag. Google сообщает, что, увидев эту пометку, исключает страницу из результатов поиска.

При этом нельзя одновременно закрывать страницу в robots.txt. Если робот не может зайти на страницу, он не прочитает и noindex, и при наличии ссылок с других сайтов адрес может остаться в поиске.

Если вы удалили страницу, которая уже есть в поиске Naver, сначала удалите сам оригинал и убедитесь, что он отдаёт ответ 404 (страница не найдена), а затем подайте в меню запросов Search Advisor заявку на исключение веб-страницы из поиска. Нужна повторная индексация, поэтому страница исчезнет не сразу.

• Служебные страницы вроде «Запись завершена» · «Оплата прошла»
• Черновики макетов · тестовые страницы
• Страницы только для участников (их в первую очередь закрывают логином)

Какие причины чаще всего мешают индексации?

Самая частая причина — не снятые после запуска noindex или запрет в robots.txt, поставленные во время разработки. Обязательно спросите веб-студию, есть ли этот пункт в её чек-листе запуска.

Следующая — слишком мало содержания или пересечение с другими страницами. Если одновременно открыты адрес предпросмотра и основной адрес, одно и то же содержимое оказывается в двух местах, и канонической может стать не та страница.

Страницы, которые выводят содержимое только с помощью JavaScript, поисковый робот может увидеть с задержкой или пропустить. Безопаснее, чтобы важный текст был в странице текстом с самой первой загрузки.

• noindex или полный запрет в robots.txt, оставшиеся после запуска
• Дубли из-за открытых для поиска адресов предпросмотра · тестирования
• Изолированные страницы, на которые нет ни одной ссылки из меню или с других страниц
• Страницы с фото и почти без текста
• Сервер часто тормозит или выдаёт ошибки