Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.
Индексация в Яндекс
Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает 🙂
Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.
Проверить индексацию сайта в Яндексе можно несколькими способами:
- с помощью Яндекс Вебмастера;
- с использованием операторов поисковой системы;
- с помощью расширений и плагинов;
- с помощью онлайн-сервисов.
Индексация страниц сайта в Яндекс Вебмастер
Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».
Статистика обхода в Яндекс Вебмастер
Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.
Раздел содержит информацию о страницах:
- новые — страницы, которые недавно появились на сайте либо робот их только что обошел;
- изменившиеся — страницы, который поисковик Яндекса раньше видел, но они изменились;
- история обхода — количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).
На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.
А это график истории обхода.
В этом пункте отображены страницы, которые Яндекс нашел.
N/a — URL не известен роботу, т.е. робот её раньше не встречал.
Какие выводы из скрина можно сделать:
- Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
- Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.
Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо — Яндекс удалил, а что надо — Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.
Страницы в поиске
Поисковая выдача постоянно меняется — добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.
Информацию в разделе «Страницы в поиске» вы можете использовать:
- для отслеживания изменений количества страниц в Яндексе;
- для слежения за добавленными и исключенными страницами;
- для выяснения причин исключения сайта из поисковой выдачи;
- для получения информации о дате посещения сайта поисковиком;
- для получения информации об изменении поисковой выдачи.
Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.
Проверка количества страниц в индексе Яндекса с помощью операторов
Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.
Будем использовать два оператора:
- «site» — поиск по всем поддоменам и страницам указанного сайта;
- «host» — поиск по страницам, размещенным на данном хосте.
Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.
Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.
Проверка индексации с помощью плагинов и расширений
Проверить индексацию сайта с помощью сервисов
Таких сервисов очень много. Я покажу вам два.
Serphunt
Serphunt — онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.
Одновременно можно проверить до 100 страниц сайта по двум поисковикам — Яндекс и Google.
Чтобы проверить индексацию страницы внесите её в список:
Нажимаем «Начать проверку» и через несколько секунд получаем результат:
Многие вебмастера сталкиваются с проблемами индексации сайта, которые негативно влияют на его SEO-продвижение, трафик. Они постоянно совершенствуют сайт, оптимизируют, добавляют новый контент, а число страниц в индексе не растет, либо и вовсе весь ресурса там отсутствует.
Чтобы предпринять соответствующие меры по предотвращению данной проблемы, нужно выяснить, почему сайт не индексируется поисковыми роботами. Сегодня мы и поговорим об основных причинах, которые приводят к тому, что материалы с ресурса не вносятся в .
1. Яндекс и Google еще не заметили ваш ресурс
Это одна из самых возможных причин. Вы недавно создали свой сайт и выложили его в интернет, но не предприняли никаких мер, чтобы поисковики побыстрее нашли его. Тогда индексацию и вправду можно ждать очень долго.
Чтобы этого не допустить, обязательно , а также в . Проделав эти несложные шаги, можно ожидать попадания сайта в индекс уже через пару часов, но бывает, что приходится ждать и несколько дней.
Если вы используете готовую , обязательно проверьте приватные настройки, которые нередко установлены по умолчанию, и именно из-за них сайт может не индексироваться.
4. На сайте много повторяющихся материалов
Как правило, зачастую дублируются страницы и . Это грозит не только непопаданием вашего сайта в индекс, но и применением по отношению к нему санкций от Google Panda (алгоритм, который борется с некачественным контентом). Узнать, какие основные проблемы существенно снижают качество и эффективность проекта, вы можете в разделе «Вид в поиске» –> «Оптимизация HTML» в Google Вебмастере.
Сегодня это одна из распространенных причин, по которой сайты попадают под санкции, и разработчикам становится сложнее их продвигать.
5. Мета-тег name, content
Скрыть веб-ресурс от поисковиков можно и мета-тегом:
Иногда это правило может быть прописано и для определенных роботов:
Чтобы проверить его наличие, откройте исходный код сайта и проверьте содержимое. Если найдете вышеупомянутую строку, просто удалите ее, или «nofollow» и «noindex» замените на «follow» и «index» соответственно.
Да, бывали и такие случаи, когда данный мета-тег присутствовал в коде, а вебмастера даже не догадывались об этом и искали совершенно другие проблемы.
6. Мета-тег noindex
Заодно проверьте в коде тег , не обрамлен ли им ваш контент. Этот тег служит для поисковой системы Яндекс, который указывает, что этот контент не следует индексировать. То есть если у вас часть текста закрыта этим тегом, то у вас страница будет индексироваться, а сам контент который им обрамлен не будет.
7. Использование HTTP-заголовка X-Robots-Tag
Этот способ закрывает от индексации страницы только для Google. В коде этот метатег не найти, так как он работает на уровне заголовков сервера. Проверить его можно с помощью плагина для браузера Web Developer: Chrome , FireFox
Или с помощью онлайн инструмента http://tools.seobook.com/server-header-checker/
8. Перебои в работе хостинга или сервера
Если робот посетил ваш сайт, чтобы проиндексировать его содержимое, а в это время он оказался недоступным, то страницы так и не будут внесены в базу данных поисковых систем. Поэтому очень важно выбрать надежный хостинг и сервер с хорошим up time.
Чтобы всегда быть в курсе доступности ресурса, созданы самые разные сервисы. Найти их можно, введя в поиск запрос «uptime checker». Рекомендуем Яндекс.Метрика – он совершенно бесплатный.
9. Ошибки при сканировании
Если их возникает в изобилии, то боты не имеют возможности полноценно обойти сайт и добраться до необходимых страниц. Проверить наличие ошибок можно в Google Webmaster Tools. Зайдите в раздел «Сканирование» и выберите «Ошибки сканирования» . Если они будут обнаружены, сервис предложит их исправить.
10. Ранее используемый домен
Если вы зарегистрировали сайт на старое доменное имя, потому что оно легко читается и хорошо звучит, будьте готовы к тому, что его предыдущий владелец занимался черными методами SEO-продвижения, и теперь вам придется «разгребать» все те проблемы, к которым привела его деятельность.
Поправить ситуацию можно:
- Отправив в Яндекс и Google запрос на пересмотр и узнав, почему страницы не индексируются.
- Продолжая продвигать проект и работать над его качеством.
На заметку. Если домен спустя 3 или чуть более месяцев все равно нормально не индексируется, лучше сменить доменное имя. Или написать в поддержку поисковых систем и узнать насчет санкций на этот домен.
11. Медленная скорость загрузки сайта
Данный показатель является одним из основных факторов ранжирования ресурса и оказывает существенное влияние на его позиции в поисковых системах. Разумеется, если ваш портал загружается дольше положенного, с большой долей вероятности и его индексация будет проходить очень медленно. Самое оптимальное время загрузки составляет 2 секунды. Более 3-х секунд – это уже долго. На загрузку сайта влияет хостинг на котором он расположен.
12. Ресурс заблокирован в файле htaccess
Зачастую данный файл используется для настройки 301 редиректа, однако здесь также можно осуществить закрытие поисковым ботам доступ к сайту. Чтобы проверить содержимое.htaccess, найдите его на сервере, после чего проверьте код, чтобы там не было команды, блокирующей ресурс.
13. Наличие AJAX и JavaScript
Поисковик Google индексирует их, но гораздо сложнее, чем тот же . Неправильно настроив страницы и , ваш сайт не будет проиндексирован.
14. Попадание под фильтры поисковиков
Получить Deindexed, пожалуй, страшнее всего. Это наказание за то, что вебмастер выбрал нелегальную политику продвижения своего сайта: размещал запрещенные материалы или нерелевантный запросам контент, спамил ключевыми словами, использовал дорвеи и пр. Это очень и очень плохо, и если вас разоблачили, то вернуть сайт в поиск и заслужить доверие поисковых машин будет сложно.
15. Индексация сайта с www и без www
По сути, www – это поддомен..сайт – это разные адреса сайта. Перепроверьте, указали вы 301 редирект с одного домена на другой. Также не забудьте указать основное доменное имя, и при этом подтвердить, что вы являетесь владельцем обеих доменов, чтобы поисковая система не считала эти домены разными сайтами.
16. Отсутствие карты сайта
В редких случаях, но отсутствие Sitemap на сайте может стать причиной того, что он остается незамеченным поисковыми ботами. Эту страницу тоже не забудьте добавить в панель вебмастера Яндекс и Google.
Заключение
Без индексации веб-сайта его существование просто бессмысленно, только если вы не ведете его чисто для себя. Если желаете продвигать сайт, найдите причину, из-за которой он не заносится в индекс. Это важно, чтобы поскорее предотвратить проблему и в дальнейшем не допускать ее снова.
Если же вы исправили все вышеуказанные причины и ресурс все-равно не попадает в поиск, незамедлительно обращайтесь в поддержку Google и Яндекс. Там вам с большой вероятностью объяснят, в чем дело.
Как я и обещал в , сегодня я расскажу как решить проблему индексации страниц Яндексом , а если быть точнее – если некоторые (или все) страницы по непонятным причинам не индексируются.
Месяц назад я зашел в панель Яндекс Вебмастера и обнаружил такую вот неприятную штуку – все мои посты не индексировались! «Пипец! Столько времени потрачено в пустую – статьи могли бы быть уже в поиске» — подумал я. И вправду, это выходит что все время что я писал мои статьи были закрыты от Яндекса. Поэтому я полез в инет с надеждой найти решение своей проблемы. Порывшись на всяких там форумах и блогах я пришел к выводу – или где-то ошибка с шаблоном блога, или же один из плагинов делает мне такую каку. Первый вариант отпал сразу, так как я полностью перерыл код шаблона, когда делал и каких-либо ошибок не увидел. Значит проблема в одном из плагинов. Вначале я подумал что неправильно настроил , но как оказалось проблема была совсем не в нём. Спасибо моему другу , который заметил вот такую строчку кода у меня на страницах с постами:
Как же я тупонул! Я поставил себе когда-то плагин Robots Meta и забыл на время про него, а он мне все статьи закрыл от поисковиков из-за того, что я его неправильно настроил. Эта ошибка будет мне уроком. Плагин я успешно удалил и стал ждать очередного АПа, в надежде что страницы проиндексируются. К сожалению ничего подобного не произошло, в Яндекс Вебмастере высвечивалась та же ошибка – «Документ содержит тег noidex ». Ну что же, пришло время штурмовать суппорт Яши своими письмами:). Справа в панели есть ссылка «Задать вопрос о сайте службе поддержки» — вот её то и надо нажимать, если у Вас возникли трудности с индексацией и Вы не знаете как их решить.
Пишу следующее письмо:
Доброго времени суток!.
У меня проблема с индексацией страниц. Проблема вот в чем — кроме меток и рубрик, которые я запретил к индексации, у меня еще много исключенных страниц.
«Документ содержит мета-тег noindex» — вот в чем проблема. Я порылся в настройках своего блога и нашел причину — у меня стоял плагин, который запрещал индексировать все страницы, которые я публиковал.плагин я удалил и тег НОИНДЕКС пропал на страницах.Страницы эти до сих пор исключены, хотя я удалил этот плагин еще месяц назад.
Поисковый робот заходил на блог много раз а изменений никаких.
Вот скрин некоторых непроиндексированных страниц
(я для на всякий случай передал скрины ссылок на те страницы).
На второй день приходит мне ответ:
Здравствуйте!
Если страницы в настоящий момент не содержат запрещающий тег, то со временем робот отследит эти изменения самостоятельно. О том, как помочь нашему роботу быстрее индексировать сайт, Вы можете прочитать на странице нашей помощи: http://help.yandex.ru/webmaster/. Вы также можете ускорить процесс обхода необходимых Вам страниц роботом, добавляя их непосредственно через форму «Сообщить о новом сайте»: http://webmaster.yandex.ru/addurl.xml .
В этом случае они будут проиндексированы и должны появиться в результатах поиска в течение 2 недель.
С уважением, Платон Щукин
Служба поддержки Яндекса
Я, если честно. и не знал что можно добавлять отдельные страницы в форму о сообщении нового сайта, чтобы ускорить их индексацию. Только насколько я понял, в день можно добавлять ограниченное количество адресов с одного айпишника (когда я добавил страниц 10, кнопка «Добавить» перестала быть активной). Плюс ко всему, чтобы поисковый робот быстрее индексировал , я установил себе плагин Dagon Design Sitemap Generator, который создал на отдельной странице . Теперь я на 100% уверен, что все мои статьи через 2 недели будут проиндексированы.
Вчера я увидел новый комментарий к статье « », его написала Voleyko. Кратко расскажу о её проблеме: 30 декабря, когда был последний АПдейт тИЦ, Дед Мороз подарил ей +10 к пузику, но на второй день из индекса выпали почти все страницы блога. Так что радость от удачного АПдейта прошла к сожалению очень быстро. В чем же может быть проблема? Лично я думаю, что проблема скорее всего в ссылках на говноблоги. Почему? В одной из своих статей писал о подобной проблеме. Когда его блог получил тИЦ 20 через время из индекса вылетели все страницы. Прошел месяц, пока Студент не нашел причину вылета из индекса: пару ссылок на говносайты и на адалт-сайт dosug.cz. Так что, уважаемая Voleyko, советую Вам пересмотреть все ссылки, которые есть на Вашем блоге и удалить ненужные. Ну а потом задалбывайте службу поддержки Яндекса, пока не решите свою проблему.
Форумы вебмастеров пестрят грустными постами по поводу того, что сайт плохо индексируется поисковыми системами. А ведь это основа SEO-продвижения, без которой популяризация интернет-ресурса практически невозможна.
Обидней всего, когда над созданием web-проекта трудился дорогостоящий программист, а на его наполнение контентом ежемесячно тратится внушительная сумма.
Однако Яндекс и Гугл не спешат индексировать отдельные страницы или даже целый сайт. Почему так происходит?
На этот вопрос нет однозначного ответа: существует множество причин.
Важно выявить конкретную проблему (технические ошибки, дубляж страниц, нестабильную работу хостинга или санкции поисковиков) и сделать все для ее решения. Есть хорошая новость - ситуацию можно исправить. Хотите, знать как? Читайте дальше!
Нормы индексации сайтов
В Яндекс
Yandex сканирует и добавляет новые страницы примерно два-четыре раза в месяц. Попасть в поисковую выдачу раньше способны лишь трастовые и часто обновляемые порталы - внушающие доверие сайты индексируются быстроботом Яндекса ежедневно.
В Google
Что касается Гугла, обновления могут занять от одного дня до двух недель. Здесь многое зависит от категории вашего сайта. Например, ресурсы с актуальными новостями и живые форумы роботы проверяют с завидной регулярностью.
Материалы часто обновляемых порталов обычно сканируются в тот же день или на следующий. Индексация блога, в котором каждую неделю появляется новый контент, нередко задерживается на 2–4 дня.
Совсем печально обстоит дело с третьесортными сайтами, а также совсем молодыми веб-проектами, только что появившимися в Сети. Поисковые роботы могут игнорировать их в течение месяца.
Важно! Вышеописанные данные актуальны при добавлении малого количества страниц в индекс. При добавлении большого количества страниц одномоментно, скорость индексации может увеличиться в несколько раз.
Особенно долго будут индексироваться страницы с малой ценностью для посетителей.
Что делать, если новый сайт не индексируется поисковиками?
Под это определение подходит ресурс с возрастом домена до полугода, который не имеет обратных ссылок и ранее не продвигался.
Добавить сайт в панели вебмастеров
Вы только что создали сайт и ждете чуда под названием «быстрая индексация»? Такая стратегия ошибочная, ведь в первое время Гугл и Яндекс не обращают на новый сайт внимание. Помогите своему проекту заинтересовать роботов - сделать это достаточно просто: надо лишь .
Важно! Использование сервиса Яндекс. Вебмастер и Google Webmaster не только ускорит добавление страниц в индекс, но и позволит эффективнее работать над оптимизацией сайта. Представленные инструменты бесплатно открывают вебмастерам множество возможностей для диагностики, получения рекомендованных для продвижения запросов и привязки сайта к конкретному региону.
Улучшить сайт
Пора заняться внутренней оптимизацией: систематически создавать первоклассный контент, улучшить юзабилити, сделав удобные рубрики, а также позаботиться об адаптивности и перелинковке. После этого следует задуматься о внешнем продвижении. Оно включает в себя работу с социальными факторами и размещение естественных ссылок у надежных доноров.
Если сайт все так же не индексируется Яндексом, необходимо написать в техническую поддержку поисковика. В результате вашего запроса вы получите информацию о наличии бана, фильтра или установите другую объективную причину возникшей проблемы.
Как проверить индексацию сайта?
Используйте в запросе оператор Site
Узнайте количество просканированных и добавленных в индекс страниц путем введения в строку поиска Гугл и Яндекс «site: url вашего сайта». Благодаря дополнительным настройкам легко получить данные о произошедших за конкретный промежуток времени изменения.
К примеру, сегодняшняя проверка российской версии Википедии показала, что за последние 2 недели на этом сайте появилось 143 новых материалов.
Учтите! Разница между показателями разных поисковых систем является поводом для тревоги. Чаще всего это свидетельствует о возможном попадании под фильтр Гугла или Яндекса.
Введите в поисковик url страницы
Этот способ идеален для проверки индексации отдельно выбранной страницы.
Для Google
url:https://ru.wikipedia.org/
Для Яндекс
info:https://ru.wikipedia.org/
Через панель вебмастеров
Если вы ранее уже зарегистрировались в Яндекс. Вебмастер, то при переходе на данный сервис сразу увидите число загруженных материалов и тех, что находятся в поиске. В идеале их количество должно совпадать или быть похожим на реальное количество страниц сайта.
Более детальную информацию вы получите при переходе на основную панель, после чего необходимо нажать «Индексирование» и «Страницы в поиске».
Анализируя полученный отчет и ищите страницы, которые не индексируются.
Вариант 2: Сайт вообще не индексируется в Яндексе и Гугле, страницы выпадают из индекса.
Код ответа сервера
Убедитесь, что страница содержит код сервера 200 ОК - это означает: она действительно существует, доступна к просмотру для пользователей и поисковых систем.
Проверка осуществляется при помощи специальных сервисов.
Например, http://www.bertal.ru/index.php?a1910327/
Если код ответа не 200 ОК, то именно в этом может быть причина не индексации страницы.
Robots.txt
В файле robots.txt недопустимы запреты на индексацию сайта и отдельных страниц, а также работу конкретного поисковика.
Важно! Обязательно проверьте сформированный robots.txt на ошибки. Сделать это можно в Google Вебмастер: нажмите на «Сканирование», а затем на «Инструмент проверки файла robots.txt».
Meta Robots
Часто сайт не индексируется в Гугле, если добавление сведений в базу данных запрещено в мета-тегах. Обязательно удалите в HTML-коде строкии если они есть на важных страницах.
Либо используйте плагины для браузера, такие как .
Rel Canonical
Хотите, чтобы страница попала в индекс поисковика? Тогда она не должна ссылаться на другой канонический документ.
Чтобы проверить откройте код страницы и сделайте поиск строки.
Либо через тот же плагин
Вебмастера
Используйте Google Webmaster Tools для выявления ошибок сканирования, из-за которых роботы не получают ответы на запросы.
Когда получите результат, сравните, что видит Google и пользователь. Картинки должны быть одинаковыми. Если нет, то ищите причины блокировки файлов.
Протестируйте скорость загрузки и время ответа сервера. Убедитесь, что выбранный вами хостинг работает стабильно.
Файл.htaccess
Если сайт не индексируется, он может быть заблокирован в файле.htaccess.
Проверьте.htaccess на наличие таких строк:
RewriteRule.* - [F]
Либо такой вариант, который будет отдавать роботу Google 404 ошибки.
RewriteCond %{USER_AGENT} Googlebot
RewriteRule.* -
Поищите в файле другие варианты блокировок с использованием USER_AGENT или названия поисковых ботов: googlebot, yandex и т. д.
AJAX и JavaScript
Распространены проблемы с языками AJAX и JavaScript. Блог Яндекса для вебмастеров рекомендует создать в структуре ресурса определенную схему , которая сообщит поисковым системам о необходимости индексации.
Санкции
Еще одна серьезная проблема - наложение санкций на страницу или даже весь сайт. Узнайте в техподдержке поисковой системы (только Яндекс), за что именно (ссылки, переспам, неуникальный контент) вас наказали, после чего оперативно исправьте ситуацию.
Как уже говорилось ранее, причиной отсутствия внимания к странице часто является низкокачественный и дублированный контент.
Вряд ли робот будет заинтересован в ваших материалах, если в выдаче уже имеются похожие документы, продвигаемые по тому же семантическому ядру.
Негативно влияет на скорость индексирования незрелый возраст домена, а также забаненный ранее б/у домен. В таком случае стоит написать запрос на пересмотр в Яндекс.
Итоги
Если сайт не индексируется Яндексом или Гуглом, значит, на то есть объективная причина. Ваша цель - выявить и решить проблему. Спустя некоторое время необходимо снова проверить индексацию страницы. Если вы все сделаете правильно, положительные изменения не заставят себя долго ждать!
В этой статье мы расскажем, почему Яндекс может не индексировать конкретную страницу на сайте, раздел или весь проект целиком. Описанные проблемы могут повлиять и на индексацию в Google, и в любых других поисковых системах. Выпадение страниц из индекса – серьезная проблема, поскольку напрямую влияет на потенциальное количество переходов, которое может получить ресурс из поисковых систем.
1. Яндекс не индексирует сайт полностью
Если у вас новый сайт, то он появится в поисковой системе не сразу – может пройти от 2-3 недель до месяца. Как правило, Google быстрее находит и индексирует новые проекты, Яндекс – медленнее.
Если 2-3 недели прошло и все равно Яндекс не индексирует сайт – возможно, он просто о нем не знает:
- Добавьте ссылку на сайт в специальную форму: http://webmaster.yandex.ru/addurl.xml
- Добавьте сайт в сервис Яндекс.Вебмастер: http://webmaster.yandex.ru
- Добавьте на сайт Яндекс.Метрику
- Разместите на сайт ссылки из социальных сетей и блогов (роботы поисковых систем активно индексируют новый контент в социальных сетях и блогах);
1.2. Старый сайт частично или полностью выпал из индекса
Данную проблему вы заметите, сравнив число страниц на сайте и количество страниц в индексе поисковой системы (можно посмотреть через сервис Яндекс.Вебмастер).
Если из индекса выпало большинство страниц, и осталась только главная страница или главная и несколько внутренних – проблема скорее всего в наложенном фильтре АГС . Яндекс посчитал контент вашего сайта неуникальным или мало привлекательном для пользователей. Необходимо переработать содержание сайта.
Помимо наложения фильтров, Яндекс может не индексировать сайт по следующим причинам:
- Случайно запретили индексацию в файле Robots.txt . Проверьте его содержание.
- Робот не может получить доступ к сайту по причине нестабильной работы хостинга или IP-адрес робота случайно забанили (например, сайт отражал DDOS-атаку и робота поисковой системы приняли за атакующего).
2. Яндекс не индексирует страницы на сайте
Данная проблема встречается чаще, чем выпадение всего сайта из индекса. Из типичных проблем, при которых Яндекс может не индексировать страницу, можно выделить:
- Робот поисковой системы не доходит до страницы из-за запутанной структуры сайта или высокого уровня вложенности. Постарайтесь сделать так, чтобы на любую страницу сайта можно было попасть, сделав два щелчка мышкой. Создайте карту сайта.
- На странице мало уникального, интересного контента, и поисковая система не считает ее полезной для посетителей. Проверьте уникальность текста, доработайте его, сделайте более полезным.
- Количество страниц на сайте превышает лимит, выделенный поисковой системой для проекта. Например, Яндекс готов взять в индекс с вашего сайта 10 тысяч страниц, а на вашем проекте – 15 тысяч страниц. В любом случае 5 тысяч страниц в индекс не попадут. Старайтесь развивать проект, чтобы повысить лимит – и закрывайте от индексации ненужные, служебные страницы, чтобы освободить место в индексе для продвигаемых страниц.
- На страницу нет ссылок – соответственно, поисковая система не может ее найти.
- Страница запрещена к индексации в файле Robots.txt . Проверьте содержание файла.
- Страница содержит атрибут noindex в мета-теге robots, поэтому не индексируется поисковыми системами. Проверьте код страницы.
- Меню сайта сделано на флеше, который поисковые системы не обрабатывают. Соответственно, Яндекс не индексирует страницы сайта, ссылки на которые спрятаны во флеше. Необходимо сделать альтернативное меню, ссылки в котором будут доступы для роботов поисковых систем.
