Аудит сайта. Ошибки, ведущие к затруднению индексации

Подавляющая часть интернет-юзеров пользуется поисковыми системами, даже не задумываясь о том, почему какие-то сайты в выдаче расположены выше, а какие-то – ниже, и о том, как они вообще туда попадают.

Между тем для успешной «карьеры» сайта в поисковых системах нужно проделать много работы: не только наполнить и оптимизировать сайт, убрать все лишнее, сделать перелинковку, чтобы он поднялся в ТОП. Прежде всего нужно вообще сделать так, чтобы поисковые роботы могли его обнаружить и проиндексировать. И очень часто низкие позиции сайта обусловлены проблемами с индексацией. Причин этого может быть много, и по большей части они технические, поэтому неспециалисту разобраться в этом очень сложно. Мы попробуем объяснить основные из них.

Для начала рассмотрим сам процесс индексации. Чтобы сайт попал в выдачу поисковика, нужно, чтобы поисковый робот его нашел и проиндексировал (проанализировал содержимое страниц, их код). После этого информация о сайте сохраняется в базе данных поисковика, где и происходит ранжирование всех страниц аналогичной тематики по релевантности запросам.

Загвоздки с индексацией – в чем причины?

Проблемы с индексацией чаще всего появляются, когда по техническим причинам робот не может найти страницу или проиндексировать ее содержимое.

Почему такое происходит?

  • Робот не располагает информацией о существовании сайта. Такое возможно по причине того, что прошло недостаточно времени, и бот еще не заходил на страницу, или же он не может зайти на страницу из-за проблем с хостингом. Еще одна возможная причина (особенно это касается сайтов, которые редко обновляются и, соответственно, редко посещаются роботом) – отсутствие ссылок на новый документ с главной страницы или других ресурсов;
  • Какая-то часть сайта или он весь недоступны для бота. Домен может быть не делегирован и, соответственно, никому кроме вебмастера недоступен. Либо же отдельные документы или разделы сайта вообще закрыты. Также робот может попросту не доходить до страниц, расположенных так, что для перехода на них с главной нужно перейти по большому (свыше трех) количеству ссылок;
  • Сайт попал в черный список. Это может происходить по причине нарушения правил продвижения или из-за вирусов;
  • Есть технические ошибки - некорректные http-заголовок или DOCTYPE, проблемы с редиректами (излишнее количество ссылок в документе усложняет работу бота) или кодировкой;
  • Плохое качество некоторых разделов или страниц сайта – неуникальный или недостаточный по объему контент, шаблонные заголовки и тексты, медленная отдача документов, наличие множества ошибок. Сюда же можно отнести злоупотребление ключевым словами. Поисковики не приветствуют искусственную оптимизацию, поэтому страницы с излишним употреблением ключевых слов теряют позиции или вовсе могут быть исключены из индексации.

 

Что нужно сделать в первую очередь, чтобы выяснить, что же конкретно вредит индексации?

Во-первых, посмотреть на сайт глазами поисковика. Для этого в браузере нужно отключить поддержку java-скриптов, после чего просмотреть навигационную систему сайта. Если есть ссылки, которые при закрытых java-скриптах не открываются, значит, по такой ссылке бот пройти не может. Если же вся навигация сайта построена на java-скриптах или flash, то это значительно усложняет работу робота, а они этого не любят, предпочитая обычные гиперссылки.

Во-вторых, следует изучить положение веб-ресурса в индексе поисковика, убедиться, что в него попали все страницы, которые должны, и не попали те, которых там не должно быть. Нужно обратить внимание на заголовки, описания и ключевые слова, на наличие странных адресов и ссылок на проблемные документы.

В-третьих, необходимо классифицировать страницы сайта по типам, после чего поискать связь проблем индексации со страницами определенного типа.

Типичные ошибки, отрицательно влияющие на место в выдаче

При проведении аудита специалисты часто встречают одни и те же ошибки, присутствующие чуть ли не на каждом проблемном сайте.

Все их можно объединить признаком множества адресов для одних и тех же страниц:

  • Дублирование главной страницы. Довольно часто пользователей, переходящих с других страниц сайта на главную, веб-мастера направляют на ее дубликаты. Главная страница должна быть одна – все лишнее нужно убрать и перепроверить все ссылки;
  • Неправильная работа листингов. Проблема сопряжена с дублированием главной страницы и очень широко распространена. Со всех страниц листинга кроме главной пользователь может попасть только на дубли первой страницы.
  • Разные адреса для одной и той же страницы. Такие явления значительно усложняют работу поисковых роботов, даже если разница в адресе совсем, казалось бы, невелика. Наличие или отсутствие простого и не каждому заметного слеша в конце для робота означают полностью отличающиеся адреса. И, разумеется, это усложняет его работу.

 

Разумеется, причины возникающих для индексации препятствий не ограничиваются теми, которые мы привели в этой статье. Досконально выяснить все тонкости может только опытный специалист. Вот почему лучше всего при наличии проблем обращаться к профессионалам. В ходе аудита опытные сотрудники компании «Gelios» детально разберутся во всех нюансах и наладят процесс индексации в разумные сроки.