Яндекс в помощь вебмастерам новые возможности консоли управления сайтом
#61
Отправлено 16 Март 2010 - 17:51
#63
Отправлено 17 Март 2010 - 16:20
Например:
Clean-param: s /index.php
Clean-param: mode /index.php
Clean-param: view /index.php
Clean-param: p /index.php
Clean-param: act /index.php
Clean-param: CODE /index.php
Clean-param: method /index.php
Clean-param: tid /index.php
Clean-param: f /index.php
Clean-param: t /index.php
Clean-param: client /index.php
Clean-param: fid /index.php
Clean-param: show /index.php
Clean-param: pid /index.php
Disallow: /lofiversion
Disallow: /index.php?act=
И сделать динамическую карту форума.
#65
Отправлено 18 Март 2010 - 17:11
Сейчас под юзером вылезает, но это пусть, боты - не юзеры.
Но, как ни странно, все индексировалось.
#66
Отправлено 12 Июль 2010 - 21:09
но зато гугл активизировался...
#67
Отправлено 12 Июль 2010 - 21:13
Проблемы у них. Перестраиваются, куски базы теряют и путают. В индекс чужие страницы попадают.
Подождем и посмотрим...
#68
Отправлено 13 Июль 2010 - 17:50
#69
Отправлено 28 Июль 2010 - 00:48
Цитата
А как же вы тогда узнали что яндекс к вам заходил именно с этого ИП?
Форум распознает бота по юзер агенту. Странно что он у вас не распознается, ведь судя по логам из интернета у него стандартный user agent - Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
#70
Отправлено 28 Июль 2010 - 09:46
Узнала просто. Заволновалась и посмотрела, кто онлайн ходит. Один навязчивый ип оказался яндексовским.
#71
Отправлено 28 Июль 2010 - 14:12

Вот эта строка
Disallow: /*app=core&module=usercp
Что не так???
#72
Отправлено 28 Июль 2010 - 14:21
Мне то же самое выдавалось, но я те строчки совсем снесла, так как запрет у нас на уровне index.php
#73
Отправлено 02 Август 2010 - 02:27
Цитата
Посмотрел я там как боты прописываются... Система, оказывается, не как на двойке, внедрили регулярное выражение.
Яндекс сменил юзер агенты, поэтому со старом шаблон на форуме он не будет определятся. У основного индексатора user agent YandexBot а в регулярке только Yandex +Blog. Попробуйте добавить после Blog - Bot.
Yandex(Blog|Bot)?[ /]([0-9.]{1,10})или (для все user agent'ов - Image, Metrika и тд)
Yandex[A-Za-z]+[ /]([0-9.]{1,10})
#74
Отправлено 02 Август 2010 - 09:23
Сейчас вписала –
Yandex(Blog|Bot)?[ /]([0-9.]{1,10}). Яндекс в списке появился
77.88.24.28 – именно тот самый ip
#75
Отправлено 19 Октябрь 2010 - 00:02
Цитата
- ← Помогите с robots.txt
- Настройка на сервере, оптимизация и SEO
- Открытие внутренних ссылок для поисковиков. →









