robotxt - Дизайн и модификация Invision Power Board

Перейти к содержимому

 

Правила раздела

Здесь обсуждаются проблемы поисковой оптимизации и индексирования форумов.
Если зашли сюда случайно, пожалуйста, не оффтопьте и обратите внимание на другие разделы.
Оформление форумов, включая верстку скинов.
Настройка форумов, установка и администрирование.
Размещение рекламы на форумах.
Техническая поддержка наших скинов и модов.

СвернутьПрикрепленные теги

Теги не найдены
Страница 1 из 1
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

robotxt

#1 Пользователь не на сайте   ivashka71reg »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 50
  • Регистрация: 07-Сентябрь 11
  • Репутация: 0
  • IPB version:3.1.x
 

Отправлено 16 Сентябрь 2011 - 18:19

Здравствуйте, мне нужно что нибудь изменить в robotxt ?
User-agent: *
Disallow: /admin/
Disallow: /*&s=
Disallow: /*&s=*
Disallow: /*?s=
Disallow: /*?s=*
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/js/
Disallow: /public/style_captcha/
Disallow: /public/style_css/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*page__view__findpost*
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /index.php/user/
Disallow: /index.php?app=core&module=global&section=login
Disallow: /index.php?app=core&module=global&section=lostpass
Disallow: /index.php/calendar
Disallow: /index.php?app=calendar&module=calendar
Disallow: /index.php?app=forums&module=extras&section=stats&do=who&t=
Disallow: /index.php?app=forums&module=forums&section=attach&tid=
Disallow: /index.php?app=core&module=attach&section=attach&attach_id=
Disallow: /index.php?app=core&module=attach&section=attach&attach_rel_module=post&attach_id=
Disallow: /index.php?app=forums&module=extras&section=rating&t=
Disallow: /index.php?app=forums&module=post&section=post&do=reply_post&f=
Disallow: /*app=calendar
Disallow: /index.php?app=forums&module=forums&section=markasread&marktype=
Disallow: /index.php?app=core&module=global&section=login&&do=deleteCookies&k=
Disallow: /index.php/index
Disallow: /public/style_emoticons/default/
Disallow: /index.php?app=blog&module=display&section=
Disallow: /index.php?app=blog&showblog=
Disallow: /index.php?app=blog&show_members_blogs=
Disallow: /index.php?app=forums&module=ajax&section=

0

#2 Пользователь не на сайте   LoGwi-N »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 43
  • Регистрация: 06-Январь 11
  • Репутация: 1
  • Откуда:г. Гомель
  • IPB version:3.2.x
 

Отправлено 19 Декабрь 2011 - 19:23

Решил не создавать новую ветку. Суть вопроса вот в чем. Гугл у меня на форуме практически живет. Заходит каждые 3-10 минут. Так вот почему он ходит по профилям пользователей и на другие закрытые от индексации страницы. Вот вам текст файла robots.txt
Spoiler

Вебмастер яндекса, говорит мне что страница с профилями защищена, тобишь файл роботс.тхт работает. В чем может быть причина?
0

#3 Пользователь не на сайте   siv1987 »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 1 351
  • Регистрация: 20-Март 09
  • Репутация: 212
  • IPB version:2.3.x
 

Отправлено 19 Декабрь 2011 - 19:50

1. Запрет в роботс означает не индексировать данный урл. Но заглянуть туда бот может.
2. Зачем дублировать для яндекс и гугла одни и те же правила? Пишите один раз под общей секцией User-agent: *
3. Раньше на главной стоял дле, а форум в папке. Возможно роботс небыл скопирован в корень домена, и поэтому профили попали в индекс. Со временем они выпадут.
2

#4 Пользователь не на сайте   Qartvela™ »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Specialist
  • Сообщений: 135
  • Регистрация: 15-Февраль 11
  • Репутация: 17
  • IPB version:3.1.x
 

Отправлено 20 Декабрь 2011 - 00:12

если установлен IP.Shoutbox:
Disallow: /*app=shoutbox

0

#5 Пользователь не на сайте   LoGwi-N »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 43
  • Регистрация: 06-Январь 11
  • Репутация: 1
  • Откуда:г. Гомель
  • IPB version:3.2.x
 

Отправлено 16 Январь 2012 - 19:36

Вот такой вопрос.
Мне надо закрыть от индексации альбомы галереи и её главную.
Disallow: /gallery/ исключает главную и все последующие страницы с таким путем.
К примеру /gallery/image/название фото/ тоже вылетит из индекса по правилу "Disallow: /gallery/"
Как мне одновременно закрыть от индексации "/gallery/" и "/gallery/album", но разрешить "/gallery/image/название фото/"
0

#6 Пользователь не на сайте   siv1987 »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 1 351
  • Регистрация: 20-Март 09
  • Репутация: 212
  • IPB version:2.3.x
 

Отправлено 16 Январь 2012 - 20:21

Allow: /gallery/image/
Disallow: /gallery/

Написать после секции User-agent и в таком порядке
1

#7 Пользователь не на сайте   LoGwi-N »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 43
  • Регистрация: 06-Январь 11
  • Репутация: 1
  • Откуда:г. Гомель
  • IPB version:3.2.x
 

Отправлено 16 Январь 2012 - 20:28

Просмотреть сообщениеsiv1987 16 Январь 2012 - 20:21 сказал(а):

Allow: /gallery/image/
Disallow: /gallery/

Написать после секции User-agent и в таком порядке

Спасибо, работает. Я так понимаю блоки с Allow должны быть первыми и идти один за одним, и только потом Disallow.
0

Сообщить об этой теме:


Страница 1 из 1
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

1 пользователей читают эту тему
0 зарегистрированных, 1 гостей, 0 скрытых


Контактная информация

Заказ дизайна форума

+7 (917) 501-4765
C 10 до 20 в рабочие дни (время московское)

Техническая поддержка

Контактные данные специалистов

Дизайн форумов

IPB 3.x ¦ IPB 2.x

Бесплатные шаблоны

IPB 3.2 – 3.3 ¦ IPB 3.1 ¦ IPB 3.0 ¦ IPB 2.2 – 2.3 ¦ IPB 2.1 ¦ Клипарт
Лицензия на использование ¦ Ваша поддержка ¦ О проекте
Copyright © 2005-2012 IPBSkins.ru Team
При копировании материалов с сайта
прямая ссылка на источник обязательна