Яндекс в помощь вебмастерам

Подписчики

13 ноября 200817 г

Консоль вебмастера Яндекса работает больше года по адресу http://webmaster.yandex.ru/wmconsole/

Кто хотел, мог там давно зарегистрировать свои сайты и отслеживать поисковый индекс и внешние ссылки.

Кроме того, там показываются ошибки, которые затрудняют индексацию сайта поисковой системой Яндекс.

Вчера появилась новая фича, саппорт Яндекса теперь сообщает отдельно о проблемах на сайте, в частности о проспамленных страницах форумов.

Пример такого сообщения:

Сообщение : Спам на страницах сайта
Дата:12.11.2008
Тема:Спам на страницах сайта

Здравствуйте, ******* !

На сайте *********.info, права на который вы подтвердили в сервисе Яндекс.Вебмастер, есть форум. На его страницах наши алгоритмы распознали поисковый спам. Примеры обнаруженных нами страниц приведены ниже.

**********
**********
**********

Эти и аналогичные им страницы могут исчезнуть из поиска, что может привести к уменьшению числа переходов на ваш сайт с Яндекса. Просим вас удалить заспамленные сообщения. Для снижения числа нежелательных сообщений в вашем форуме можно, например, воспользоваться системой CAPTCHA.

Подробности вы можете узнать, задав вопрос о сайте в службу поддержки Яндекса. Для этого воспользуйтесь этой формой.
---
С уважением,
Яндекс.Вебмастер
http://webmaster.yandex.ru "

Думаю, информация о спаме и прочих проблемах будет полезна всем владельцам форумов.

Рекомендую зарегистрироваться.

19 мая 200917 г

Автор

Давно пора. Кто-то справедливо заметил, что Google предупреждает о зараженных сайтах уже давно.

2 месяца спустя...

23 июля 200916 г

После установки кода SAPE индексация упала с 5,5 тыс до 4 страниц! Убрал код уже месяца 2 назад, но так ничего и не изменилось. http://webmaster.yandex.ru/wmconsole/ выдает ошибку "303" около 6,5 тыс страниц. Что это за ошибка?

23 июля 200916 г

Автор

http://help.yandex.ru/webmaster/?id=995305

Сапа наверняка ни при чем.

23 июля 200916 г

.htaccess не трогали? Переадресацию не настраивали?

3 недели спустя...

7 августа 200916 г

.htaccess не трогали? Переадресацию не настраивали?

.htaccess не трогал.

Захожу значит на http://webmaster.yandex.ru

Он выдает мне следующее:

Захожу в "Ошибки --> Сводка":

Ошибка 404 - /showuser=2 т.е. он заходит по адресу http://форум.ру/showuser=2 а должен http://форум.ру/index.php?showuser=2

Ошибка 303 - выдает ссылки:

Но почему они не индексируются? Ну вот к примеру пару из них...

http://koreanspace.ru/index.php?showtopic=...entry7376

http://koreanspace.ru/index.php?showtopic=...entry6049

Может это не из-за SAPE? Просто проблемы с индексацией начались именно после установки SAPE.

7 августа 200916 г

Он выдает мне следующее:

Яндекс как определяет домен вашего сайта с www или без него?

Но почему они не индексируются? Ну вот к примеру пару из них...

Тройка? Он мог не успеть переиндексировать.

В поставке с форумом IP.Board 3.0 идет файл robot.txt Поменяйте его настройки под себя и положите на сайт.

И пропишите в нем основной домен.

7 августа 200916 г

Яндекс как определяет домен вашего сайта с www или без него?

Да вродь без него... ссылки идут http://koreanspace.ru/и_т.д.

Тройка? Он мог не успеть переиндексировать.
В поставке с форумом IP.Board 3.0 идет файл robot.txt Поменяйте его настройки под себя и положите на сайт.
И пропишите в нем основной домен.

Не знаю как его менять... Вот сам текст:

# HOW TO USE THIS FILE:
# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------
User-agent: *
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/js/
Disallow: /forum/public/style_captcha/
Disallow: /forum/public/style_css/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$

Нужно поменять только

Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/js/
Disallow: /forum/public/style_captcha/
Disallow: /forum/public/style_css/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1

НА ЭТО:

Disallow: admin/
Disallow: cache/
Disallow: converge_local/
Disallow: hooks/
Disallow: ips_kernel/
Disallow: retail/
Disallow: public/js/
Disallow: public/style_captcha/
Disallow: public/style_css/
Disallow: index.php?app=core&module=task
Disallow: index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: index.php?app=forums&module=extras&section=forward
Disallow: index.php?app=members&module=messaging
Disallow: index.php?app=members&module=chat
Disallow: index.php?app=members&module=search
Disallow: index.php?app=members&module=search&do=active
Disallow: index.php?&unlockUserAgent=1

так? Далее сохранить изменив robotstxt на robots.txt и залить в корень форума?

7 августа 200916 г

Автор

C тройкой ничего не меняйте.

Все советы давались для 2.x

7 августа 200916 г

C тройкой ничего не меняйте.
Все советы давались для 2.x

? Этот файл идет в дистрибутиве тройки.

8 августа 200916 г

так? Далее сохранить изменив robotstxt на robots.txt и залить в корень форума?

Да. Но начало надо делать таким

User-agent: *
Host: koreanspace.ru

8 августа 200916 г

Автор

Хост делается только для Яндекса.

И нельзя его писать после такой строчки.

Обязательно перед хостом должна стоять строчка

Disallow:

8 августа 200916 г

И нельзя его писать после такой строчки.
Обязательно перед хостом должна стоять строчка
Disallow:

:) Да. Вы правы.

8 августа 200916 г

:) Да. Вы правы.

А конечный вариант как будет выглядеть?

9 августа 200916 г

А конечный вариант как будет выглядеть?

Насколько я понимаю

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/js/
Disallow: /public/style_captcha/
Disallow: /public/style_css/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Host: koreanspace.ru

Или прочитать про robots.txt

13 августа 200916 г

А если я хочу использовать ваш robots.txt но у меня форум на главной и портал на главной. Тоесть все в одной директории. Что мне нужно тогда ждя этого подправть? Я сколько не читаю про роботс, ничего понять не могу и не получаеться составить грамотный роботс. Из-за этого яндекс меня ну просто ужасно индексирет, а то и вовсе выидывает.

Моглибы вы свой роботс подогнать для unrealtech.ru все тоже самое, даже моды совпадают.

Создайте аккаунт или войдите в него для комментирования

Зарегистрировать аккаунт

Войти сейчас

Подписчики

Перейти к списку тем

Яндекс в помощь вебмастерам

Рекомендованные сообщения

Создайте аккаунт или войдите в него для комментирования

Аккаунт

Навигация

Поиск

Настроить push-уведомления браузера

Chrome (Android)

Chrome (компьютер)

Safari (iOS 16.4+)

Safari (macOS)

Edge (Android)

Edge (компьютер)

Firefox (Android)

Firefox (компьютер)