robotstxt

[siv1987 2628]

Конкретно рейтинг к видео можно закрыть следующим способом:

Disallow: /*app=videos&module=extras*&rating=

[grebovich 0]

Disallow: /*tags/*

так правильно в роботс.тхт добавить?

так а нужно ли его(теги) вопще закрывать?? на многих форумах смотрел роботс и люди не закрывают его!

как правильней чтоб не навредить?

[madbatman 1]

Всем привет!

 

Кто может помочь мне robots.txt сделать?

 

У меня сейчас только не переименованный robotstxt.txt

 

 

 

# HOW TO USE THIS FILE:
# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------
User-agent: *
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/style_captcha/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=forums&module=moderate&section=moderate
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /forum/*&module=search
Allow:	  /forum/*&search_tags=
Disallow: /forum/*app=core&module=global&section=reputation
Disallow: /forum/*app=core&module=usercp
Disallow: /forum/*app=members&module=messaging
Disallow: /forum/*&p=
Disallow: /forum/*&pid=
Disallow: /forum/*&hl=
Disallow: /forum/*&start=
Disallow: /forum/*view__getnewpost$
Disallow: /forum/*view__getlastpost$
Disallow: /forum/*view__old$
Disallow: /forum/*view__new$
Disallow: /forum/*view__getfirst$
Disallow: /forum/*view__getprevious$
Disallow: /forum/*view__getnext$
Disallow: /forum/*view__getlast$
Disallow: /forum/*&view=getnewpost$
Disallow: /forum/*&view=getlastpost$
Disallow: /forum/*&view=old$
Disallow: /forum/*&view=new$
Disallow: /forum/*&view=getfirst$
Disallow: /forum/*&view=getprevious$
Disallow: /forum/*&view=getnext$
Disallow: /forum/*&view=getlast$
Disallow: /forum/*?s=
Disallow: /forum/*&s=
Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forum/index.php?app=forums&module=extras&section=rating
Disallow: /forum/index.php?app=forums&module=forums&section=markasread
Disallow: /forum/*&do=who
Disallow: /forum/*&section=dname

 

Кто поможет, тому печеньки!

:rolleyes:

[siv1987 2628]

Кто может помочь мне robots.txt сделать?

Что "сделать"? Там же написано как пользоваться файлом

 

# HOW TO USE THIS FILE:

# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"

 

Если у вас форум в папке /forums/ значит нужно переименовать в файле все /forum/ на /forums/. Сам роботс должен находится в корне домена. Больше "делать" тут ничего не надо.

[GluK 2]

Хорошо, что наткнулся на эту тему. У меня форум в корне домена, а в роботс было по умолчанию /forum/... получается у меня никакие запреты не действовали .. /forum/ было лишнее ... вот лошара.

Изменено 15 февраля 2013 пользователем GluK

[madbatman 1]

 

 

Если у вас форум в папке /forums/ значит нужно переименовать в файле все /forum/ на /forums/. Сам роботс должен находится в корне домена. Больше "делать" тут ничего не надо.

 

Спасибо!

Не пинаете меня, помогаете.

Печеньки - за мной.

[Svirya 0]

Здравствуйте. У меня есть главная страница и форум. Файл robots.txt лежит в корне. Прописан так:

 

 

User-agent: *

Disallow: /forum/admin/

Disallow: /forum/cache/

Disallow: /forum/converge_local/

Disallow: /forum/hooks/

Disallow: /forum/ips_kernel/

Disallow: /forum/retail/

Disallow: /forum/public/style_captcha/

Disallow: /forum/index.php?app=core&module=task

Disallow: /forum/index.php?app=forums&module=moderate&section=moderate

Disallow: /forum/index.php?app=forums&module=extras&section=forward

Disallow: /forum/index.php?app=members&module=chat

Disallow: /forum/index.php?&unlockUserAgent=1

Disallow: /forum/*&module=search

Allow: /forum/*&search_tags=

Disallow: /forum/*app=core&module=global&section=reputation

Disallow: /forum/*app=core&module=usercp

Disallow: /forum/*app=members&module=messaging

Disallow: /forum/*&p=

Disallow: /forum/*&pid=

Disallow: /forum/*&hl=

Disallow: /forum/*&start=

Disallow: /forum/*view__getnewpost$

Disallow: /forum/*view__getlastpost$

Disallow: /forum/*view__old$

Disallow: /forum/*view__new$

Disallow: /forum/*view__getfirst$

Disallow: /forum/*view__getprevious$

Disallow: /forum/*view__getnext$

Disallow: /forum/*view__getlast$

Disallow: /forum/*&view=getnewpost$

Disallow: /forum/*&view=getlastpost$

Disallow: /forum/*&view=old$

Disallow: /forum/*&view=new$

Disallow: /forum/*&view=getfirst$

Disallow: /forum/*&view=getprevious$

Disallow: /forum/*&view=getnext$

Disallow: /forum/*&view=getlast$

Disallow: /forum/*?s=

Disallow: /forum/*&s=

Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /forum/index.php?app=forums&module=extras&section=rating

Disallow: /forum/index.php?app=forums&module=forums&section=markasread

Disallow: /forum/*&do=who

Disallow: /forum/*&section=dname

 

Стоит ли его редактировать?

[madbatman 1]

Себе еще так добавил:

Allow: /
Sitemap: http://мой сайт.ru/sitemap.xml
Sitemap: http://мой сайт.ru/sitemap.xml

[siv1987 2628]

Allow: / в данном случае абсолютно ненужная запись.

Sitemap: дважды повторять не нужно.