Консоль вебмастера Яндекса работает больше года по адресу http://webmaster.yandex.ru/wmconsole/

Кто хотел, мог там давно зарегистрировать свои сайты и отслеживать поисковый индекс и внешние ссылки.

 

Кроме того, там показываются ошибки, которые затрудняют индексацию сайта поисковой системой Яндекс.

 

Вчера появилась новая фича, саппорт Яндекса теперь сообщает отдельно о проблемах на сайте, в частности о проспамленных страницах форумов.

Пример такого сообщения:

Сообщение : Спам на страницах сайта

Дата:12.11.2008

Тема:Спам на страницах сайта

 

Здравствуйте, ******* !

 

На сайте *********.info, права на который вы подтвердили в сервисе Яндекс.Вебмастер, есть форум. На его страницах наши алгоритмы распознали поисковый спам. Примеры обнаруженных нами страниц приведены ниже.

 

**********

**********

**********

 

Эти и аналогичные им страницы могут исчезнуть из поиска, что может привести к уменьшению числа переходов на ваш сайт с Яндекса. Просим вас удалить заспамленные сообщения. Для снижения числа нежелательных сообщений в вашем форуме можно, например, воспользоваться системой CAPTCHA.

 

Подробности вы можете узнать, задав вопрос о сайте в службу поддержки Яндекса. Для этого воспользуйтесь этой формой.

---

С уважением,

Яндекс.Вебмастер

http://webmaster.yandex.ru "

Думаю, информация о спаме и прочих проблемах будет полезна всем владельцам форумов.

Рекомендую зарегистрироваться.

Где не хватает?

Все в индексе.

Для ускорения индексирования лучше запретить некоторые параметры в урлах для Яндекса.

Например:

 

Clean-param: s /index.php

Clean-param: mode /index.php

Clean-param: view /index.php

Clean-param: p /index.php

Clean-param: act /index.php

Clean-param: CODE /index.php

Clean-param: method /index.php

Clean-param: tid /index.php

Clean-param: f /index.php

Clean-param: t /index.php

Clean-param: client /index.php

Clean-param: fid /index.php

Clean-param: show /index.php

Clean-param: pid /index.php

Disallow: /lofiversion

Disallow: /index.php?act=

 

И сделать динамическую карту форума.

Где не хватает?

Сейчас все на месте. :)

Вообще должна сказать спасибо, так как в меню под гостем действительно вылезал лишний :)

Сейчас под юзером вылезает, но это пусть, боты - не юзеры.

Но, как ни странно, все индексировалось.

подскажите почему перестало быть видно бота яндекса? раньше тусил круглосуточно, панель вебмастера показывает что бот сегодня был.... а на форуме его не видно...

но зато гугл активизировался...

Вот у нас тоже не видно сейчас Яндекса, если не позвать специально.

Проблемы у них. Перестраиваются, куски базы теряют и путают. В индекс чужие страницы попадают.

Подождем и посмотрим...

77.88.24.28 – Яндекс анонимно ходит с этим IP. Форумом как Яндекс не распознается. Но если вызвать через addurl, приходит опознаваемый.

77.88.24.28 – Яндекс анонимно ходит с этим IP. Форумом как Яндекс не распознается. Но если вызвать через addurl, приходит опознаваемый.

А как же вы тогда узнали что яндекс к вам заходил именно с этого ИП?

Форум распознает бота по юзер агенту. Странно что он у вас не распознается, ведь судя по логам из интернета у него стандартный user agent - Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

Я не знаю, как его прописать. Прежняя запись не работает.

Узнала просто. Заволновалась и посмотрела, кто онлайн ходит. Один навязчивый ип оказался яндексовским.

Выдает вот что...

 

Вот эта строка

Disallow: /*app=core&module=usercp

Что не так???

В саппорт Яндекса пишите.

Мне то же самое выдавалось, но я те строчки совсем снесла, так как запрет у нас на уровне index.php

Я не знаю, как его прописать. Прежняя запись не работает.

Яндекс сменил юзер агенты, поэтому со старом шаблоном на форуме он не будет определятся. У основного индексатора user-agent YandexBot а в регулярке только Yandex +Blog.

 

Yandex(Bot|Blogs)[ /]([0-9.]{1,10})

или (для всех user agent'ов - Images, Metrika и тд)

Yandex[a-z]+[ /]([0-9.]{1,10})

или просто

Yandex

 

Список юзер агентов ботов http://help.yandex.ru/webmaster/robot-workings/check-yandex-robots.xml#robot-in-logs

Спасибо!

Сейчас вписала –

Yandex(Blogs|Bot)[ /]([0-9.]{1,10})

Яндекс в списке появился :)

77.88.24.28 – именно тот самый ip

Ребят подскажите пожалуйста какую цифру писать в строке

Версия User Agent в Regex

я просто по глупости сбил сам теперь не помню что там стояло :rolleyes: или это не столь важно ? версия форума 3.0.5

Не знаю что там должно стоять, но у меня "1" и работает.