Здравствуйте, мне нужно что нибудь изменить в robots.txt ?

User-agent: *
Disallow: /admin/
Disallow: /*&s=
Disallow: /*&s=*
Disallow: /*?s=
Disallow: /*?s=*
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/js/
Disallow: /public/style_captcha/
Disallow: /public/style_css/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras§ion=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*page__view__findpost*
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /index.php/user/
Disallow: /index.php?app=core&module=global§ion=login
Disallow: /index.php?app=core&module=global§ion=lostpass
Disallow: /index.php/calendar
Disallow: /index.php?app=calendar&module=calendar
Disallow: /index.php?app=forums&module=extras§ion=stats&do=who&t=
Disallow: /index.php?app=forums&module=forums§ion=attach&tid=
Disallow: /index.php?app=core&module=attach§ion=attach&attach_id=
Disallow: /index.php?app=core&module=attach§ion=attach&attach_rel_module=post&attach_id=
Disallow: /index.php?app=forums&module=extras§ion=rating&t=
Disallow: /index.php?app=forums&module=post§ion=post&do=reply_post&f=
Disallow: /*app=calendar
Disallow: /index.php?app=forums&module=forums§ion=markasread&marktype=
Disallow: /index.php?app=core&module=global§ion=login&&do=deleteCookies&k=
Disallow: /index.php/index
Disallow: /public/style_emoticons/default/
Disallow: /index.php?app=blog&module=display§ion=
Disallow: /index.php?app=blog&showblog=
Disallow: /index.php?app=blog&show_members_blogs=
Disallow: /index.php?app=forums&module=ajax§ion=

Решил не создавать новую ветку. Суть вопроса вот в чем. Гугл у меня на форуме практически живет. Заходит каждые 3-10 минут. Так вот почему он ходит по профилям пользователей и на другие закрытые от индексации страницы. Вот вам текст файла robots.txt

 

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*moderate
Disallow: /*user/
Disallow: /*Print
Disallow: /*page__p
Disallow: /*0__p__
Disallow: /*5__p__
Disallow: /*&pid=
Disallow: /*page__pid

 

Вебмастер яндекса, говорит мне что страница с профилями защищена, тобишь файл роботс.тхт работает. В чем может быть причина?

1. Запрет в роботс означает не индексировать данный урл. Но заглянуть туда бот может.

2. Зачем дублировать для яндекс и гугла одни и те же правила? Пишите один раз под общей секцией User-agent: *

3. Раньше на главной стоял дле, а форум в папке. Возможно роботс небыл скопирован в корень домена, и поэтому профили попали в индекс. Со временем они выпадут.

если установлен IP.Shoutbox:

Disallow: /*app=shoutbox

Вот такой вопрос.

Мне надо закрыть от индексации альбомы галереи и её главную.

Disallow: /gallery/ исключает главную и все последующие страницы с таким путем.

К примеру /gallery/image/название фото/ тоже вылетит из индекса по правилу "Disallow: /gallery/"

Как мне одновременно закрыть от индексации "/gallery/" и "/gallery/album", но разрешить "/gallery/image/название фото/"

Allow: /gallery/image/

Disallow: /gallery/

 

Написать после секции User-agent и в таком порядке

Allow: /gallery/image/

Disallow: /gallery/

 

Написать после секции User-agent и в таком порядке

Спасибо, работает. Я так понимаю блоки с Allow должны быть первыми и идти один за одним, и только потом Disallow.

Подскажите пожалуйста как сделать так что бы не индексировался раздел форума.

ЧПУ сейчас вида форум11 форум 12 и дальше пошли топик1 топик 2, вот как запретить индексировать именно раздел со всеми топиками внутри?

Через роботс этого не сделать. Но можно использовать метатег robots в шаблоне, установив его под условием для нужного раздела.

 

<if test="$this->request['app']=='forums' AND $this->request['f']==id_форума">
    <meta name='robots' content='noindex' />
</if>

 

Естественно добавлять в header главного шаблона (globalTemplate)

noindex можно заменить на noindex,nofollow чтобы боты еще не ходили по ссылкам.

http://googlewebmastercentral.blogspot.com/2007/03/using-robots-meta-tag.html

Яндекс индексирует следующее:

**.ru/index.php?/tags/forums/%25252525252525252525D0%252525252525252525259E%25252525252525252525D1%2525252525252525252581%25252525252525252525D0%25252525252525252525B0%25252525252525252525D0%25252525252525252525BA%25252525252525252525D0%25252525252525252525B0/

 

Ясное дело, результат поиска - нулевой

 

Disallow: /*tags/*

так правильно в роботс.тхт добавить?

 

и ещё вопросик.

у меня для яндекса и гугля одни правила, для все остальных другие

можно юзер агент через запятую писать чтоб не повторять гугль и яндекс?

Изменено 11 октября 201213 г пользователем Boris

так правильно в роботс.тхт добавить?

Да.

 

у меня для яндекса и гугля одни правила, для все остальных другие

можно юзер агент через запятую писать чтоб не повторять гугль и яндекс?

Нельзя

Может для вас мой вопрос покажется глупым но не пинайте сильно просто я никак понять не могу.

У меня форум лежит в подкаталоге site.ru/forum/ и соответственно robots.txt находится по адресу site.ru/forum/robots.txt

Тоесть для поисковиков если я правильно понимаю он не дает совсем никакого результата,так как поисковики кушают именно site.ru/robots.txt

 

Получается что у меня два robots.txt

Один это site.ru/robots.txt

второй это site.ru/forum/robots.txt

как правильно прописать и где его прописать чтоб поисковики кушали и site.ru/forum/robots.txt и site.ru/robots.txt

Думал что просто нужно совместить два robots.txt в один файл в корне сайта,но почему то мне кажется что это не правильно!

Посоветуйте пожалуйста!

Тоесть для поисковиков если я правильно понимаю он не дает совсем никакого результата,так как поисковики кушают именно site.ru/robots.txt

Да. robots.txt может быть только один - в корень домена. Туда вы можете записать правила для любой папки.

 

Думал что просто нужно совместить два robots.txt в один файл в корне сайта,но почему то мне кажется что это не правильно!

Это правильно. Почему это должно быть не правильно? /forum/ для бота это обыкновенная папка как и любая другая, например /uploads/, /admin/ и тд. Не писать же в каждой папке отдельный роботс если нужно что-то в них запретить.

Да. robots.txt может быть только один - в корень домена. Туда вы можете записать правила для любой папки.

 

 

Это правильно. Почему это должно быть не правильно? /forum/ для бота это обыкновенная папка как и любая другая, например /uploads/, /admin/ и тд. Не писать же в каждой папке отдельный роботс если нужно что-то в них запретить.

Ок. Спасибо большое за розширенный ответ!

Подскажите пожалуйста как закрить ссылку на рейтинг видео от индексации в роботсе?

ссылки вида

/index.php?app=videos&module=extras&section=rate&video_id=188&rating=1

/index.php?app=videos&module=extras&section=rate&video_id=188&rating=5

и т.д...

не могу понять как лучше сделать!

буду благодарен.

Конкретно рейтинг к видео можно закрыть следующим способом:

Disallow: /*app=videos&module=extras*&rating=