Консоль вебмастера Яндекса работает больше года по адресу http://webmaster.yandex.ru/wmconsole/

Кто хотел, мог там давно зарегистрировать свои сайты и отслеживать поисковый индекс и внешние ссылки.

 

Кроме того, там показываются ошибки, которые затрудняют индексацию сайта поисковой системой Яндекс.

 

Вчера появилась новая фича, саппорт Яндекса теперь сообщает отдельно о проблемах на сайте, в частности о проспамленных страницах форумов.

Пример такого сообщения:

Сообщение : Спам на страницах сайта

Дата:12.11.2008

Тема:Спам на страницах сайта

 

Здравствуйте, ******* !

 

На сайте *********.info, права на который вы подтвердили в сервисе Яндекс.Вебмастер, есть форум. На его страницах наши алгоритмы распознали поисковый спам. Примеры обнаруженных нами страниц приведены ниже.

 

**********

**********

**********

 

Эти и аналогичные им страницы могут исчезнуть из поиска, что может привести к уменьшению числа переходов на ваш сайт с Яндекса. Просим вас удалить заспамленные сообщения. Для снижения числа нежелательных сообщений в вашем форуме можно, например, воспользоваться системой CAPTCHA.

 

Подробности вы можете узнать, задав вопрос о сайте в службу поддержки Яндекса. Для этого воспользуйтесь этой формой.

---

С уважением,

Яндекс.Вебмастер

http://webmaster.yandex.ru "

Думаю, информация о спаме и прочих проблемах будет полезна всем владельцам форумов.

Рекомендую зарегистрироваться.

Попробуйте на свой страх и риск.

А вы не подскажете к кому я могу обратиться по созданию индивидуального robots естественно за денежку.

 

И еще, я понимаю для вас это глупый вопрос, но что такое спам?

Вам универсальный роботс подойдет.

http://ipb-ru.net/robots_txt_ipb.html

Про спам.

Насколько я понимаю

 

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/js/
Disallow: /public/style_captcha/
Disallow: /public/style_css/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Host: koreanspace.ru

 

Или прочитать про robots.txt

 

Поставил этот код, он выдал "Документ запрещен в файле robots. 23815"

 

 

Что не так в коде?

Это нормально.

У меня тоже масса дублей запрещена.

В индексе 5 тысяч страниц вместо 50 тысяч. А трафика поискового больше стало, как дубли запретила.

Это нормально.

У меня тоже масса дублей запрещена.

В индексе 5 тысяч страниц вместо 50 тысяч. А трафика поискового больше стало, как дубли запретила.

 

ОК спасибо )

А что вы можете сказать про мои ошибки? Ну никак не получаеться сделать таким образом что бы нормально индексировался форум. :)

404 и 410 – это серьезно.

Проверяйте корректность внутренних ссылок.

 

А 302 - обычное явление в ipb. Особенно без оптимизации. Любую ссылку на новый пост, первый непрочитанный, последний пост.. яндекс воспринимает как ошибку 302.

Таких ошибок без оптимизации набирается десятки тысяч. Поэтому в роботсе и прикрываем:

isallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

.....

Хотя длинная черта там откуда???

 

Должно быть так:

Disallow: /*view=getnewpost$

Disallow: /*view=getlastpost$

Disallow: /*view=old$

Disallow: /*view=new$

Disallow: /*view=getfirst$

Disallow: /*view=getprevious$

Disallow: /*view=getnext$

Disallow: /*view=getlast$

404 и 410 – это серьезно.

Проверяйте корректность внутренних ссылок.

Какие особенности должны быть при коррекции внутренних ссылок?

 

А может ли это быть из-за того что у меня весь проект проиндексирован с WWW, а я только месяц назад переделал без WWW, сделал редирект и теперь никакам образом при сильном делании в адресной строке не получиться увидеть WWW, это дело отсекается. В общем мне как сказали: -жди зеркальщика... Так что даже все мои внутренние сылки показываться без WWW но в поиске я сайт отображается с WWW... Может ли быть из-за этого?

Нет.

Какие-то страницы недоступны. Почему, надо разбираться.

Бывает, что из-за некорректности старых ссылок. Ссылка есть, а страницу бот не находит.

Хм.. я наверное больше отношусь к дилетанту. Знать бы вообще где и как искать зарытую собаку... Готов платить $ за то что бы вывели сайт в нормальную индексацию.

 

Дело в том, что форуму 3 года... И все которые публиковали ссылки на наш форум были с WWW

Разберитесь с зеркалами. Это долгий процесс, если основное зеркало менять будете.

Почему форума нет в Яндексе

Я могла бы заняться, но не дизайнерское это дело оптимизацией сайтов зарабатывать.

У профессионалов, кстати, стоит это недешево.

Один знакомый оптимизатор просился с нами сотрудничать, но как сказал, что проекты с месячным бюджетом на оптимизацию менее 20 000 рублей ему не интересны... Так я и пытаться предлагать такое клиентам не решилась.

У школьников дешево, но могут до бана довести, а не до индекса...

Добавил там я свой форум Yandex Bot виднеется на форуме, но рази интереса сам пропробовал поискать свой форум на янедексе не наткнулся :(

Подскажите что делать?

Наполнять форум интересными темами.

Писать Платону почему вашего мега-крутого форума нету в индексе. :(

 

http://feedback.yandex.ru/