Robots.txt - IP.Content

[Атаман 463]

Ip.Content корневое приложение.

Задался вопросом по поводу робота.

 

Вот пример робота, все ли на своих местах? или я где-то лишнее добавил /forums/

 

User-agent: *
Disallow: /forums/admin/
Disallow: /forums/user/
Disallow: /forums/members/
Disallow: /forums/calendar/
Disallow: /forums/cache/
Disallow: /forums/converge_local/
Disallow: /forums/hooks/
Disallow: /forums/ips_kernel/
Disallow: /forums/retail/
Disallow: /forums/public/style_captcha/
Disallow: /forums/index.php?app=core&module=task
Disallow: /forums/index.php?app=forums&module=moderate&section=moderate
Disallow: /forums/index.php?app=forums&module=extras&section=forward
Disallow: /forums/index.php?app=members&module=chat
Disallow: /forums/index.php?&unlockUserAgent=1
Disallow: /forums/*&module=search
Allow:	  /forums/*&search_tags=
Disallow: /forums/*app=core&module=global&section=reputation
Disallow: /forums/*app=core&module=usercp
Disallow: /forums/*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /forums/*&section=dname

[Zero108 124]

Можно еще внизу добавить для заметного уменьшения трафика на сервере:

 

User-agent: Baiduspider
Disallow:/
User-agent: Baiduspider/2.0
Disallow:/

 

Хотя, как выяснилось, эта тварь настолько настырная, что нужно банить на уровне настроек сервера по списку ip.

Изменено 2 апреля 2013 пользователем Zero108