Здравствуйте, мне нужно что нибудь изменить в robots.txt ?

User-agent: *
Disallow: /admin/
Disallow: /*&s=
Disallow: /*&s=*
Disallow: /*?s=
Disallow: /*?s=*
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/js/
Disallow: /public/style_captcha/
Disallow: /public/style_css/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras§ion=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*page__view__findpost*
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /index.php/user/
Disallow: /index.php?app=core&module=global§ion=login
Disallow: /index.php?app=core&module=global§ion=lostpass
Disallow: /index.php/calendar
Disallow: /index.php?app=calendar&module=calendar
Disallow: /index.php?app=forums&module=extras§ion=stats&do=who&t=
Disallow: /index.php?app=forums&module=forums§ion=attach&tid=
Disallow: /index.php?app=core&module=attach§ion=attach&attach_id=
Disallow: /index.php?app=core&module=attach§ion=attach&attach_rel_module=post&attach_id=
Disallow: /index.php?app=forums&module=extras§ion=rating&t=
Disallow: /index.php?app=forums&module=post§ion=post&do=reply_post&f=
Disallow: /*app=calendar
Disallow: /index.php?app=forums&module=forums§ion=markasread&marktype=
Disallow: /index.php?app=core&module=global§ion=login&&do=deleteCookies&k=
Disallow: /index.php/index
Disallow: /public/style_emoticons/default/
Disallow: /index.php?app=blog&module=display§ion=
Disallow: /index.php?app=blog&showblog=
Disallow: /index.php?app=blog&show_members_blogs=
Disallow: /index.php?app=forums&module=ajax§ion=

Disallow: /*tags/*

так правильно в роботс.тхт добавить?

так а нужно ли его(теги) вопще закрывать?? на многих форумах смотрел роботс и люди не закрывают его!

как правильней чтоб не навредить?

Всем привет!

 

Кто может помочь мне robots.txt сделать?

 

У меня сейчас только не переименованный robotstxt.txt

 

 

 

# HOW TO USE THIS FILE:
# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------
User-agent: *
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/style_captcha/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=forums&module=moderate&section=moderate
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /forum/*&module=search
Allow:	  /forum/*&search_tags=
Disallow: /forum/*app=core&module=global&section=reputation
Disallow: /forum/*app=core&module=usercp
Disallow: /forum/*app=members&module=messaging
Disallow: /forum/*&p=
Disallow: /forum/*&pid=
Disallow: /forum/*&hl=
Disallow: /forum/*&start=
Disallow: /forum/*view__getnewpost$
Disallow: /forum/*view__getlastpost$
Disallow: /forum/*view__old$
Disallow: /forum/*view__new$
Disallow: /forum/*view__getfirst$
Disallow: /forum/*view__getprevious$
Disallow: /forum/*view__getnext$
Disallow: /forum/*view__getlast$
Disallow: /forum/*&view=getnewpost$
Disallow: /forum/*&view=getlastpost$
Disallow: /forum/*&view=old$
Disallow: /forum/*&view=new$
Disallow: /forum/*&view=getfirst$
Disallow: /forum/*&view=getprevious$
Disallow: /forum/*&view=getnext$
Disallow: /forum/*&view=getlast$
Disallow: /forum/*?s=
Disallow: /forum/*&s=
Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forum/index.php?app=forums&module=extras&section=rating
Disallow: /forum/index.php?app=forums&module=forums&section=markasread
Disallow: /forum/*&do=who
Disallow: /forum/*&section=dname

 

Кто поможет, тому печеньки!

:rolleyes:

Кто может помочь мне robots.txt сделать?

Что "сделать"? Там же написано как пользоваться файлом

 

# HOW TO USE THIS FILE:

# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"

 

Если у вас форум в папке /forums/ значит нужно переименовать в файле все /forum/ на /forums/. Сам роботс должен находится в корне домена. Больше "делать" тут ничего не надо.

Хорошо, что наткнулся на эту тему. У меня форум в корне домена, а в роботс было по умолчанию /forum/... получается у меня никакие запреты не действовали .. /forum/ было лишнее ... вот лошара.

Изменено 15 февраля 201312 г пользователем GluK

 

 

Если у вас форум в папке /forums/ значит нужно переименовать в файле все /forum/ на /forums/. Сам роботс должен находится в корне домена. Больше "делать" тут ничего не надо.

 

Спасибо!

Не пинаете меня, помогаете.

Печеньки - за мной.

Здравствуйте. У меня есть главная страница и форум. Файл robots.txt лежит в корне. Прописан так:

 

 

User-agent: *

Disallow: /forum/admin/

Disallow: /forum/cache/

Disallow: /forum/converge_local/

Disallow: /forum/hooks/

Disallow: /forum/ips_kernel/

Disallow: /forum/retail/

Disallow: /forum/public/style_captcha/

Disallow: /forum/index.php?app=core&module=task

Disallow: /forum/index.php?app=forums&module=moderate&section=moderate

Disallow: /forum/index.php?app=forums&module=extras&section=forward

Disallow: /forum/index.php?app=members&module=chat

Disallow: /forum/index.php?&unlockUserAgent=1

Disallow: /forum/*&module=search

Allow: /forum/*&search_tags=

Disallow: /forum/*app=core&module=global&section=reputation

Disallow: /forum/*app=core&module=usercp

Disallow: /forum/*app=members&module=messaging

Disallow: /forum/*&p=

Disallow: /forum/*&pid=

Disallow: /forum/*&hl=

Disallow: /forum/*&start=

Disallow: /forum/*view__getnewpost$

Disallow: /forum/*view__getlastpost$

Disallow: /forum/*view__old$

Disallow: /forum/*view__new$

Disallow: /forum/*view__getfirst$

Disallow: /forum/*view__getprevious$

Disallow: /forum/*view__getnext$

Disallow: /forum/*view__getlast$

Disallow: /forum/*&view=getnewpost$

Disallow: /forum/*&view=getlastpost$

Disallow: /forum/*&view=old$

Disallow: /forum/*&view=new$

Disallow: /forum/*&view=getfirst$

Disallow: /forum/*&view=getprevious$

Disallow: /forum/*&view=getnext$

Disallow: /forum/*&view=getlast$

Disallow: /forum/*?s=

Disallow: /forum/*&s=

Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /forum/index.php?app=forums&module=extras&section=rating

Disallow: /forum/index.php?app=forums&module=forums&section=markasread

Disallow: /forum/*&do=who

Disallow: /forum/*&section=dname

 

Стоит ли его редактировать?

Себе еще так добавил:

Allow: /
Sitemap: http://мой сайт.ru/sitemap.xml
Sitemap: http://мой сайт.ru/sitemap.xml

Allow: / в данном случае абсолютно ненужная запись.

Sitemap: дважды повторять не нужно.