Jump to content
Дизайн и модификация IPS Community IPBSkinsBETA
Search In
  • More options...
Find results that contain...
Find results in...

Recommended Posts

Здравствуйте, мне нужно что нибудь изменить в robots.txt ?

User-agent: *
Disallow: /admin/
Disallow: /*&s=
Disallow: /*&s=*
Disallow: /*?s=
Disallow: /*?s=*
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/js/
Disallow: /public/style_captcha/
Disallow: /public/style_css/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras§ion=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*page__view__findpost*
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /index.php/user/
Disallow: /index.php?app=core&module=global§ion=login
Disallow: /index.php?app=core&module=global§ion=lostpass
Disallow: /index.php/calendar
Disallow: /index.php?app=calendar&module=calendar
Disallow: /index.php?app=forums&module=extras§ion=stats&do=who&t=
Disallow: /index.php?app=forums&module=forums§ion=attach&tid=
Disallow: /index.php?app=core&module=attach§ion=attach&attach_id=
Disallow: /index.php?app=core&module=attach§ion=attach&attach_rel_module=post&attach_id=
Disallow: /index.php?app=forums&module=extras§ion=rating&t=
Disallow: /index.php?app=forums&module=post§ion=post&do=reply_post&f=
Disallow: /*app=calendar
Disallow: /index.php?app=forums&module=forums§ion=markasread&marktype=
Disallow: /index.php?app=core&module=global§ion=login&&do=deleteCookies&k=
Disallow: /index.php/index
Disallow: /public/style_emoticons/default/
Disallow: /index.php?app=blog&module=display§ion=
Disallow: /index.php?app=blog&showblog=
Disallow: /index.php?app=blog&show_members_blogs=
Disallow: /index.php?app=forums&module=ajax§ion=

Share this post


Link to post
Share on other sites

Решил не создавать новую ветку. Суть вопроса вот в чем. Гугл у меня на форуме практически живет. Заходит каждые 3-10 минут. Так вот почему он ходит по профилям пользователей и на другие закрытые от индексации страницы. Вот вам текст файла robots.txt

 

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*moderate
Disallow: /*user/
Disallow: /*Print
Disallow: /*page__p
Disallow: /*0__p__
Disallow: /*5__p__
Disallow: /*&pid=
Disallow: /*page__pid

 

Вебмастер яндекса, говорит мне что страница с профилями защищена, тобишь файл роботс.тхт работает. В чем может быть причина?

Share this post


Link to post
Share on other sites

1. Запрет в роботс означает не индексировать данный урл. Но заглянуть туда бот может.

2. Зачем дублировать для яндекс и гугла одни и те же правила? Пишите один раз под общей секцией User-agent: *

3. Раньше на главной стоял дле, а форум в папке. Возможно роботс небыл скопирован в корень домена, и поэтому профили попали в индекс. Со временем они выпадут.

  • Upvote 2

Share this post


Link to post
Share on other sites

Вот такой вопрос.

Мне надо закрыть от индексации альбомы галереи и её главную.

Disallow: /gallery/ исключает главную и все последующие страницы с таким путем.

К примеру /gallery/image/название фото/ тоже вылетит из индекса по правилу "Disallow: /gallery/"

Как мне одновременно закрыть от индексации "/gallery/" и "/gallery/album", но разрешить "/gallery/image/название фото/"

Share this post


Link to post
Share on other sites

Allow: /gallery/image/

Disallow: /gallery/

 

Написать после секции User-agent и в таком порядке

  • Upvote 1

Share this post


Link to post
Share on other sites

Allow: /gallery/image/

Disallow: /gallery/

 

Написать после секции User-agent и в таком порядке

Спасибо, работает. Я так понимаю блоки с Allow должны быть первыми и идти один за одним, и только потом Disallow.

Share this post


Link to post
Share on other sites

Подскажите пожалуйста как сделать так что бы не индексировался раздел форума.

ЧПУ сейчас вида форум11 форум 12 и дальше пошли топик1 топик 2, вот как запретить индексировать именно раздел со всеми топиками внутри?

Share this post


Link to post
Share on other sites

Через роботс этого не сделать. Но можно использовать метатег robots в шаблоне, установив его под условием для нужного раздела.

 

<if test="$this->request['app']=='forums' AND $this->request['f']==id_форума">
    <meta name='robots' content='noindex' />
</if>

 

Естественно добавлять в header главного шаблона (globalTemplate)

noindex можно заменить на noindex,nofollow чтобы боты еще не ходили по ссылкам.

http://googlewebmastercentral.blogspot.com/2007/03/using-robots-meta-tag.html

Share this post


Link to post
Share on other sites

Яндекс индексирует следующее:

**.ru/index.php?/tags/forums/%25252525252525252525D0%252525252525252525259E%25252525252525252525D1%2525252525252525252581%25252525252525252525D0%25252525252525252525B0%25252525252525252525D0%25252525252525252525BA%25252525252525252525D0%25252525252525252525B0/

 

Ясное дело, результат поиска - нулевой

 

Disallow: /*tags/*

так правильно в роботс.тхт добавить?

 

и ещё вопросик.

у меня для яндекса и гугля одни правила, для все остальных другие

можно юзер агент через запятую писать чтоб не повторять гугль и яндекс?

Edited by Boris

Share this post


Link to post
Share on other sites

так правильно в роботс.тхт добавить?

Да.

 

у меня для яндекса и гугля одни правила, для все остальных другие

можно юзер агент через запятую писать чтоб не повторять гугль и яндекс?

Нельзя

Share this post


Link to post
Share on other sites

Может для вас мой вопрос покажется глупым но не пинайте сильно просто я никак понять не могу.

У меня форум лежит в подкаталоге site.ru/forum/ и соответственно robots.txt находится по адресу site.ru/forum/robots.txt

Тоесть для поисковиков если я правильно понимаю он не дает совсем никакого результата,так как поисковики кушают именно site.ru/robots.txt

 

Получается что у меня два robots.txt

Один это site.ru/robots.txt

второй это site.ru/forum/robots.txt

как правильно прописать и где его прописать чтоб поисковики кушали и site.ru/forum/robots.txt и site.ru/robots.txt

Думал что просто нужно совместить два robots.txt в один файл в корне сайта,но почему то мне кажется что это не правильно!

Посоветуйте пожалуйста!

Share this post


Link to post
Share on other sites

Тоесть для поисковиков если я правильно понимаю он не дает совсем никакого результата,так как поисковики кушают именно site.ru/robots.txt

Да. robots.txt может быть только один - в корень домена. Туда вы можете записать правила для любой папки.

 

Думал что просто нужно совместить два robots.txt в один файл в корне сайта,но почему то мне кажется что это не правильно!

Это правильно. Почему это должно быть не правильно? /forum/ для бота это обыкновенная папка как и любая другая, например /uploads/, /admin/ и тд. Не писать же в каждой папке отдельный роботс если нужно что-то в них запретить.

Share this post


Link to post
Share on other sites

Да. robots.txt может быть только один - в корень домена. Туда вы можете записать правила для любой папки.

 

 

Это правильно. Почему это должно быть не правильно? /forum/ для бота это обыкновенная папка как и любая другая, например /uploads/, /admin/ и тд. Не писать же в каждой папке отдельный роботс если нужно что-то в них запретить.

Ок. Спасибо большое за розширенный ответ!

Share this post


Link to post
Share on other sites

Подскажите пожалуйста как закрить ссылку на рейтинг видео от индексации в роботсе?

ссылки вида

/index.php?app=videos&module=extras&section=rate&video_id=188&rating=1

/index.php?app=videos&module=extras&section=rate&video_id=188&rating=5

и т.д...

не могу понять как лучше сделать!

буду благодарен.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...