robotstxt - Дизайн и модификация Invision Power Board

Перейти к содержимому

 

Правила раздела

Здесь обсуждаются проблемы поисковой оптимизации и индексирования форумов.
Если зашли сюда случайно, пожалуйста, не оффтопьте и обратите внимание на другие разделы.
Оформление форумов, включая верстку скинов.
Настройка форумов, установка и администрирование.
Размещение рекламы на форумах.
Техническая поддержка наших скинов и модов.

СвернутьПрикрепленные теги

Теги не найдены

  • 2 Страниц +
  • 1
  • 2
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

robotstxt

#1 Пользователь не на сайте   ivashka71reg ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 50
  • Регистрация: 07-Сентябрь 11
  • Репутация: 0
  • IPB version:3.1.x
 

Отправлено 16 Сентябрь 2011 - 18:19

Здравствуйте, мне нужно что нибудь изменить в robots.txt ?
User-agent: *
Disallow: /admin/
Disallow: /*&s=
Disallow: /*&s=*
Disallow: /*?s=
Disallow: /*?s=*
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/js/
Disallow: /public/style_captcha/
Disallow: /public/style_css/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras§ion=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*page__view__findpost*
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /index.php/user/
Disallow: /index.php?app=core&module=global§ion=login
Disallow: /index.php?app=core&module=global§ion=lostpass
Disallow: /index.php/calendar
Disallow: /index.php?app=calendar&module=calendar
Disallow: /index.php?app=forums&module=extras§ion=stats&do=who&t=
Disallow: /index.php?app=forums&module=forums§ion=attach&tid=
Disallow: /index.php?app=core&module=attach§ion=attach&attach_id=
Disallow: /index.php?app=core&module=attach§ion=attach&attach_rel_module=post&attach_id=
Disallow: /index.php?app=forums&module=extras§ion=rating&t=
Disallow: /index.php?app=forums&module=post§ion=post&do=reply_post&f=
Disallow: /*app=calendar
Disallow: /index.php?app=forums&module=forums§ion=markasread&marktype=
Disallow: /index.php?app=core&module=global§ion=login&&do=deleteCookies&k=
Disallow: /index.php/index
Disallow: /public/style_emoticons/default/
Disallow: /index.php?app=blog&module=display§ion=
Disallow: /index.php?app=blog&showblog=
Disallow: /index.php?app=blog&show_members_blogs=
Disallow: /index.php?app=forums&module=ajax§ion=

0

#2 Пользователь не на сайте   LoGwi-N ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 114
  • Регистрация: 06-Январь 11
  • Репутация: 2
  • Откуда:г. Гомель
  • IPB version:3.4.x
 

Отправлено 19 Декабрь 2011 - 19:23

Решил не создавать новую ветку. Суть вопроса вот в чем. Гугл у меня на форуме практически живет. Заходит каждые 3-10 минут. Так вот почему он ходит по профилям пользователей и на другие закрытые от индексации страницы. Вот вам текст файла robots.txt
Spoiler

Вебмастер яндекса, говорит мне что страница с профилями защищена, тобишь файл роботс.тхт работает. В чем может быть причина?
0

#3 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 745
  • Регистрация: 20-Март 09
  • Репутация: 2 276
  • IPB version:3.1.x
 

Отправлено 19 Декабрь 2011 - 19:50

1. Запрет в роботс означает не индексировать данный урл. Но заглянуть туда бот может.
2. Зачем дублировать для яндекс и гугла одни и те же правила? Пишите один раз под общей секцией User-agent: *
3. Раньше на главной стоял дле, а форум в папке. Возможно роботс небыл скопирован в корень домена, и поэтому профили попали в индекс. Со временем они выпадут.
2

#4 Пользователь не на сайте   Qartvela™ ответил: »

 
 
  • Advanced
  • Смотреть блог
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Specialist
  • Сообщений: 168
  • Регистрация: 15-Февраль 11
  • Репутация: 22
  • IPB version:3.1.x
 

Отправлено 20 Декабрь 2011 - 00:12

если установлен IP.Shoutbox:
Disallow: /*app=shoutbox

0

#5 Пользователь не на сайте   LoGwi-N ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 114
  • Регистрация: 06-Январь 11
  • Репутация: 2
  • Откуда:г. Гомель
  • IPB version:3.4.x
 

Отправлено 16 Январь 2012 - 19:36

Вот такой вопрос.
Мне надо закрыть от индексации альбомы галереи и её главную.
Disallow: /gallery/ исключает главную и все последующие страницы с таким путем.
К примеру /gallery/image/название фото/ тоже вылетит из индекса по правилу "Disallow: /gallery/"
Как мне одновременно закрыть от индексации "/gallery/" и "/gallery/album", но разрешить "/gallery/image/название фото/"
0

#6 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 745
  • Регистрация: 20-Март 09
  • Репутация: 2 276
  • IPB version:3.1.x
 

Отправлено 16 Январь 2012 - 20:21

Allow: /gallery/image/
Disallow: /gallery/

Написать после секции User-agent и в таком порядке
1

#7 Пользователь не на сайте   LoGwi-N ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 114
  • Регистрация: 06-Январь 11
  • Репутация: 2
  • Откуда:г. Гомель
  • IPB version:3.4.x
 

Отправлено 16 Январь 2012 - 20:28

Просмотреть сообщениеsiv1987 16 Январь 2012 - 20:21 сказал(а):

Allow: /gallery/image/
Disallow: /gallery/

Написать после секции User-agent и в таком порядке

Спасибо, работает. Я так понимаю блоки с Allow должны быть первыми и идти один за одним, и только потом Disallow.
0

#8 Пользователь не на сайте   NooBAsTiK ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Specialist
  • Сообщений: 465
  • Регистрация: 24-Август 10
  • Репутация: 9
  • Откуда:г.Иваново
  • IPB version:3.4.x
 

Отправлено 17 Август 2012 - 08:26

Подскажите пожалуйста как сделать так что бы не индексировался раздел форума.
ЧПУ сейчас вида форум11 форум 12 и дальше пошли топик1 топик 2, вот как запретить индексировать именно раздел со всеми топиками внутри?
0

#9 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 745
  • Регистрация: 20-Март 09
  • Репутация: 2 276
  • IPB version:3.1.x
 

Отправлено 17 Август 2012 - 10:03

Через роботс этого не сделать. Но можно использовать метатег robots в шаблоне, установив его под условием для нужного раздела.

<if test="$this->request['app']=='forums' AND $this->request['f']==id_форума">
     <meta name='robots' content='noindex' />
</if>


Естественно добавлять в header главного шаблона (globalTemplate)
noindex можно заменить на noindex,nofollow чтобы боты еще не ходили по ссылкам.
http://googlewebmast...s-meta-tag.html
0

#10 Пользователь не на сайте   Boris ответил: »

 
 
  • Member
  • **
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 69
  • Регистрация: 15-Август 12
  • Репутация: 2
  • IPB version:3.3.x
 

Отправлено 11 Октябрь 2012 - 22:57

Яндекс индексирует следующее:
**.ru/index.php?/tags/forums/%25252525252525252525D0%252525252525252525259E%25252525252525252525D1%2525252525252525252581%25252525252525252525D0%25252525252525252525B0%25252525252525252525D0%25252525252525252525BA%25252525252525252525D0%25252525252525252525B0/

Ясное дело, результат поиска - нулевой

Disallow: /*tags/*

так правильно в роботс.тхт добавить?

и ещё вопросик.
у меня для яндекса и гугля одни правила, для все остальных другие
можно юзер агент через запятую писать чтоб не повторять гугль и яндекс?

Сообщение изменено: Boris (11 Октябрь 2012 - 22:58)

0

#11 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 745
  • Регистрация: 20-Март 09
  • Репутация: 2 276
  • IPB version:3.1.x
 

Отправлено 12 Октябрь 2012 - 21:48

Просмотреть сообщениеBoris сказал(а):

так правильно в роботс.тхт добавить?

Да.

Цитата

у меня для яндекса и гугля одни правила, для все остальных другие
можно юзер агент через запятую писать чтоб не повторять гугль и яндекс?

Нельзя
0

#12 Пользователь не на сайте   grebovich ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 34
  • Регистрация: 04-Сентябрь 12
  • Репутация: 0
  • IPB version:3.3.x
 

Отправлено 17 Ноябрь 2012 - 04:09

Может для вас мой вопрос покажется глупым но не пинайте сильно просто я никак понять не могу.
У меня форум лежит в подкаталоге site.ru/forum/ и соответственно robots.txt находится по адресу site.ru/forum/robots.txt
Тоесть для поисковиков если я правильно понимаю он не дает совсем никакого результата,так как поисковики кушают именно site.ru/robots.txt

Получается что у меня два robots.txt
Один это site.ru/robots.txt
второй это site.ru/forum/robots.txt
как правильно прописать и где его прописать чтоб поисковики кушали и site.ru/forum/robots.txt и site.ru/robots.txt
Думал что просто нужно совместить два robots.txt в один файл в корне сайта,но почему то мне кажется что это не правильно!
Посоветуйте пожалуйста!
0

#13 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 745
  • Регистрация: 20-Март 09
  • Репутация: 2 276
  • IPB version:3.1.x
 

Отправлено 17 Ноябрь 2012 - 04:32

Просмотреть сообщениеgrebovich сказал(а):

Тоесть для поисковиков если я правильно понимаю он не дает совсем никакого результата,так как поисковики кушают именно site.ru/robots.txt

Да. robots.txt может быть только один - в корень домена. Туда вы можете записать правила для любой папки.

Просмотреть сообщениеgrebovich сказал(а):

Думал что просто нужно совместить два robots.txt в один файл в корне сайта,но почему то мне кажется что это не правильно!

Это правильно. Почему это должно быть не правильно? /forum/ для бота это обыкновенная папка как и любая другая, например /uploads/, /admin/ и тд. Не писать же в каждой папке отдельный роботс если нужно что-то в них запретить.
0

#14 Пользователь не на сайте   grebovich ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 34
  • Регистрация: 04-Сентябрь 12
  • Репутация: 0
  • IPB version:3.3.x
 

Отправлено 17 Ноябрь 2012 - 14:26

Просмотреть сообщениеsiv1987 17 Ноябрь 2012 - 04:32 сказал(а):

Да. robots.txt может быть только один - в корень домена. Туда вы можете записать правила для любой папки.


Это правильно. Почему это должно быть не правильно? /forum/ для бота это обыкновенная папка как и любая другая, например /uploads/, /admin/ и тд. Не писать же в каждой папке отдельный роботс если нужно что-то в них запретить.

Ок. Спасибо большое за розширенный ответ!
0

#15 Пользователь не на сайте   grebovich ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 34
  • Регистрация: 04-Сентябрь 12
  • Репутация: 0
  • IPB version:3.3.x
 

Отправлено 15 Январь 2013 - 04:12

Подскажите пожалуйста как закрить ссылку на рейтинг видео от индексации в роботсе?
ссылки вида
/index.php?app=videos&module=extras&section=rate&video_id=188&rating=1
/index.php?app=videos&module=extras&section=rate&video_id=188&rating=5
и т.д...
не могу понять как лучше сделать!
буду благодарен.
0

Сообщить об этой теме:


  • 2 Страниц +
  • 1
  • 2
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

1 пользователей читают эту тему
0 зарегистрированных, 1 гостей, 0 скрытых


Контактная информация

Вопросы по работе сайта

+7 (917) 501-4765
C 10 до 20 в рабочие дни (время московское)

Техническая поддержка

Контактные данные специалистов

Дизайн форумов

IPB 3.x ¦ IPB 2.x

Бесплатные шаблоны

IPB 3.2 – 3.4 ¦ IPB 3.1 ¦ IPB 3.0 ¦ IPB 2.2 – 2.3 ¦ IPB 2.1 ¦ Клипарт
Лицензия на использование ¦ Ваша поддержка ¦ О проекте
Copyright © 2005-2016 IPBSkins.ru Team
При копировании материалов с сайта
прямая ссылка на источник обязательна