Всем доброе утро, программист поигрался с робот тхт, в результате следующее:

User-agent: *

Disallow: /admin/

Disallow: /articles/

Disallow: /engine/

Disallow: /media/

Disallow: /templates/

 

Disallow: /forum/admin/

Disallow: /forum/cache/

Disallow: /forum/converge_local/

Disallow: /forum/hooks/

Disallow: /forum/ips_kernel/

Disallow: /forum/retail/

Disallow: /forum/public/js/

Disallow: /forum/public/style_captcha/

Disallow: /forum/public/style_css/

Disallow: /forum/index.php?app=core&module=task

Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs

Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic

Disallow: /forum/index.php?app=forums&module=extras&section=forward

Disallow: /forum/index.php?app=members&module=messaging

Disallow: /forum/index.php?app=members&module=chat

Disallow: /forum/index.php?app=members&module=search

Disallow: /forum/index.php?app=members&module=search&do=active

Disallow: /forum/index.php?&unlockUserAgent=1

Disallow: /forum/*app=core&module=usercp

Disallow: /forum/*app=core&module=usercp

Disallow: /forum/*app=members&module=messaging

Disallow: /forum/*&p=

Disallow: /forum/*&pid=

Disallow: /forum/*&hl=

Disallow: /forum/*&start=

Disallow: /forum/*view__getnewpost$

Disallow: /forum/*view__getlastpost$

Disallow: /forum/*view__old$

Disallow: /forum/*view__new$

Disallow: /forum/*view__getfirst$

Disallow: /forum/*view__getprevious$

Disallow: /forum/*view__getnext$

Disallow: /forum/*view__getlast$

Disallow: /forum/*&view=getnewpost$

Disallow: /forum/*&view=getlastpost$

Disallow: /forum/*&view=old$

Disallow: /forum/*&view=new$

Disallow: /forum/*&view=getfirst$

Disallow: /forum/*&view=getprevious$

Disallow: /forum/*&view=getnext$

Disallow: /forum/*&view=getlast$

Host: fordrazbor.ru

 

на эту настройку: 27: Disallow: /forum/*app=core&module=usercp яндекс вебмастер написал что: Возможно, был использован недопустимый символ

 

у меня такой вопрос тут все нормально прописано? ничего лишнего не закрыто? или наоборот что то упущено...

Трудно сказать.

Я периодически добавляю новые запреты, если дубли всплывают в Яндексе.

Смотрите здешний роботс.

Многое еще от ЧПУ зависит. Просто наблюдайте за индексацией.

на эту настройку: 27: Disallow: /forum/*app=core&module=usercp яндекс вебмастер написал что: Возможно, был использован недопустимый символ

 

Это он ругается на точку с запятой. А вообще это запись лишняя по несколько причинам: во первых такому урл'у не откуда взятся в индексе, во вторых на сколько я понимаю это ссылка на "Личные данные" пользователя, для гостей ее просто нету разве что бот завел себе аккаунт на форуме. Достаточно и одного запрета - /*app=core&module=usercp.