Консоль вебмастера Яндекса работает больше года по адресу http://webmaster.yandex.ru/wmconsole/

Кто хотел, мог там давно зарегистрировать свои сайты и отслеживать поисковый индекс и внешние ссылки.

 

Кроме того, там показываются ошибки, которые затрудняют индексацию сайта поисковой системой Яндекс.

 

Вчера появилась новая фича, саппорт Яндекса теперь сообщает отдельно о проблемах на сайте, в частности о проспамленных страницах форумов.

Пример такого сообщения:

Сообщение : Спам на страницах сайта

Дата:12.11.2008

Тема:Спам на страницах сайта

 

Здравствуйте, ******* !

 

На сайте *********.info, права на который вы подтвердили в сервисе Яндекс.Вебмастер, есть форум. На его страницах наши алгоритмы распознали поисковый спам. Примеры обнаруженных нами страниц приведены ниже.

 

**********

**********

**********

 

Эти и аналогичные им страницы могут исчезнуть из поиска, что может привести к уменьшению числа переходов на ваш сайт с Яндекса. Просим вас удалить заспамленные сообщения. Для снижения числа нежелательных сообщений в вашем форуме можно, например, воспользоваться системой CAPTCHA.

 

Подробности вы можете узнать, задав вопрос о сайте в службу поддержки Яндекса. Для этого воспользуйтесь этой формой.

---

С уважением,

Яндекс.Вебмастер

http://webmaster.yandex.ru "

Думаю, информация о спаме и прочих проблемах будет полезна всем владельцам форумов.

Рекомендую зарегистрироваться.

Это нормально.

У меня тоже масса дублей запрещена.

В индексе 5 тысяч страниц вместо 50 тысяч. А трафика поискового больше стало, как дубли запретила.

У меня

Загружено 52000

Исключено 13000

Страниц в поиск 472.

 

Почему так мало? И где остальные?

Ведь 52000-13000 ну никак 472 не получается.

Или я вобще этот яндекс не понимаю(

Интересно, что у вас в исключённых такого? Ведь насколько я вижу по своим сайтам, туда не попадают запрещённые через robots.txt, так что в нормальных условиях должно быть очень маленькое число...

Там в основном topics/названия тем на русском/

Но я не понимаю, почему в индекс так мало попало, на форуме 1500 тем. Хотя бы уж темы должны были попасть.

И яндекс мне пишет, что эти исключенные 13000 запрещены именно robots.txt. Но он у меня стандартный, ничего нового сама не добавляла.

Может дубли исключены?

У каждой страницы форума есть несколько адресов. А в индекс все загонять неправильно.

Да это я знаю, понятно что дубли.

Только почему из 1500 тем попало только 472 страницы. Причем часть из этих 472 это страницы форумов. Остальное-то куда делось? Получается, что тем совсем мало попадает в индекс.

Изменено 4 марта 201016 г пользователем Магда

Может дубли исключены?

У каждой страницы форума есть несколько адресов. А в индекс все загонять неправильно.

Насколько я понимаю, в таком случае лучше запретиь ненужные в роботсе, дабы Яндексу проще было?

Конечно. Тут запрещены.

Для этого сайта

ТИЦ 375

Страниц в поиске 6307

Внешних ссылок на страницы сайта 3007697

Время последнего посещения сайта роботом 3.03.2010

Загружено роботом 82555

Исключено роботом 0

Нетрудно посчитать, сколько хапрещено (дубли, профили, служебные) :)

Зато все ценное в индексе и ни одной исключенной страницы.

 

А в исключенных страницах какая ошибка?

Если запрет в роботсе, в исключенные попадать не должны.

А в исключенных страницах какая ошибка?

Документ запрещен в файле robots.txt - 13072

 

Страниц в поиске 479

Внешних ссылок на страницы сайта 6574

Время последнего посещения сайта роботом 2.03.2010

Загружено роботом 53594

Исключено роботом 13075

 

А не может это быть, из-за того, что форум на поддомене стоит?

И что в роботсе тогда хостом указывать: главный домен или поддомен?

Изменено 5 марта 201016 г пользователем Магда

Поддомен. Это же отдельный хост.

Не могу насчет 3.0 ничего подсказать, не настраивала роботс под него :)

Поддомен. Это же отдельный хост.

Ну вот я его и указала.

Да, вспомнила, проверяла роботс на яндексе когда, он на главный домен ругался, так что поддомен и вставила.

и вообще для яндекса правила лучше писать отдельно, директиву хост понимает только он.

То что страницы не попали в индекс это в принципе понятно, даже тут нельзя сказать что все загруженные страницы участвуют в поиске, хотя форум наполнен уникальным и тематическим контентом, одни только посты фисаны чего стоят - мини статейки :)

 

Если запрет в роботсе, в исключенные попадать не должны.

А я почему-то думал что исключенные страницы там должны быть:

http://help.yandex.ru/webmaster/?id=995303#995372

 

У меня тоже самое, все запрещенные в роботс'е страницы находятся в исключенных. Надо бы тогда его еще раз проверить...

Загружено роботом 14568

Исключено роботом 10007

У меня тоже самое, все запрещеные в роботс'е страницы находятся в исключенных. Надо бы тогда его еще раз проверить...

Загружено роботом 14568

Исключено роботом 10007

Аналогично.

Первый форум

Страниц в поиске 33090

Загружено роботом 663994

Исключено роботом 596434

 

HTTP-статус: Ресурс не найден (404)? - 17

Формат документа не поддерживается? - 66

Документ запрещен в файле robots.txt? - 596351

 

Другой форум

Страниц в поиске 1052

Загружено роботом 27842

Исключено роботом 3796

 

HTTP-статус: Ресурс не найден (404)? - 37

Документ запрещен в файле robots.txt? - 3759

Все нормально стало)

просто яндекс тормозил)

...Да, фисана у вас на форуме не хватает одного закрывающего noindex'a. Может страницы у вас совсем в индекс не попадают?