Почему сайт не индексируется поисковыми системами

В данной статье мы приведем несколько случаев из-за которых сайт может не показываться в выдаче поисковых систем.

• Файл robots.txt. Именно он отвечает за правила, которым должны следовать поисковые системы при индексации сайта. Этот файл должен находиться в корне сайта и быть доступным по ссылке вида site.ru/robots.txt. Подробнее об этом файле можно почитать по ссылке в Яндекс или по ссылке в Google.
• Мета-тег robots со значением «noindex, nofollow». Если присутствует, то следует изменить значение на «all».
• Плохая история доменного имени. Если ранее сайт продвигался «черными» или «серыми» способами, вероятнее всего, что домен попал под фильтры поисковых систем. Даже если вы до этого не продвигали домен, а купили ранее зарегистрированный, возможно предыдущий владелец завел домен под фильтры.
• Отсутствие настройки переадресации домена. Как минимум, должна быть реализована переадресация: с http://site.ru на httpS://site.ru и www.site.ru на site.ru (или наоборот). Часто встречается такая ситуация, когда сайт доступен по всем четырем адресам. А для поисковых систем – это разные сайты. Поэтому поисковые системы считают разные версии сайта копией друг друга и показывают в выдаче неверные результаты. Для переадресации следует использовать 301-редирект (окончательное перемещение).
• Скорость загрузки сайта. Из-за отсутствия оптимизации, медленного хостинга, неверной работы скриптов сайт может загружать очень долго. А иногда и вовсе не загружаться отдавая ошибку 4хх или 5хх.
• Если сайт не адаптирован под мобильные устройства — будет мало шансов попасть в выдачу на смартфонах. Mobile First уже давно внедрили все крупные поисковые системы.