Помогите с robots.txt - Страница 4 - Дизайн и модификация Invision Power Board

Перейти к содержимому

 

Правила раздела

Здесь обсуждаются проблемы поисковой оптимизации и индексирования форумов.
Если зашли сюда случайно, пожалуйста, не оффтопьте и обратите внимание на другие разделы.
Оформление форумов, включая верстку скинов.
Настройка форумов, установка и администрирование.
Размещение рекламы на форумах.
Техническая поддержка наших скинов и модов.

СвернутьПрикрепленные теги

Теги не найдены

  • 4 Страниц +
  • « Первая
  • 2
  • 3
  • 4
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

Помогите с robots.txt

#46 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 715
  • Регистрация: 20-Март 09
  • Репутация: 2 267
  • IPB version:3.1.x
 

Отправлено 12 Январь 2013 - 19:46

weiss, там 2.3x. http://beekipedia.ru/robots.txt
Прокопенко, ждите пока гугл выкинет из индекса запрещенные страницы, и не будет их "выдавать" в поиске. Процесс может продлится до полу-года.
0

#47 Пользователь не на сайте   Alserk ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 11
  • Регистрация: 09-Январь 14
  • Репутация: 0
  • IPB version:3.1.x
 

Отправлено 30 Май 2015 - 14:29

Доброго времени суток Уважаемые форумчане!Извеняюсь если создал не там тему(модерыперенесите тему в соотвествующий раздел)
Я в Seo не сильно понимаюсуть моей проблеммы такова:На моём форуме ipb 3.1.4 стоиn robot.txt и вот что мне выдает яндекс!

Вот что выдаёт Яндекс Вэб мастер -IMG-
Рылся я в сети и нашол вот этот робот
Spoiler

Ставить пробывать рескую, чтоб не усугубить больше индексацию!Подскажите какой правильный и какой лутше для форума ipb 3.1.4 форум с 2011 года тиц был 30 потом я его выключил на пол года(обстоятельства так сложились,с декуабря 2014 года работает непрырывно.
И ещё маленький фопросик влияет на что это?Форум лежит в корне Public. html(Что поставить в этой настройке?
-IMG-
Помогите пожайлуйста собрать оптимальный робот чтоб дубли не лезли,и как можно отсеять с поиска 404 ошибку тема не найдена то что я удалял.!Заранее благодарю,в долгу не останусь!
Посмотрел Ваш ipbskins.ru/robots.txt что мне там изменить?У меня Форум залит в pablic.html
0

#48 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 715
  • Регистрация: 20-Март 09
  • Репутация: 2 267
  • IPB version:3.1.x
 

Отправлено 30 Май 2015 - 20:59

С дистрибутивом форума по умолчанию поставляется robots - robotstxt.txt. Этот файл нужно скопировать в корень домена (форума, если он установлен в корне форума) и переименовать в robots.txt. Запреты в нем прописаны для форума который находится в папке /forum/. Если у вас форум находится в корне домена то нужно заменить /forum/ на /. Собственно это все.

Цитата

И ещё маленький фопросик влияет на что это?Форум лежит в корне Public. html(Что поставить в этой настройке?

Эта настройка не зависит от места положения форума. Чтобы знать что ставить в этой настройке читайте внимательно описания настройки.

Просмотреть сообщениеAlserk сказал(а):

Посмотрел Ваш ipbskins.ru/robots.txt что мне там изменить?У меня Форум залит в pablic.html

Настроить запреты относительно того, где находится форум (смотрим выше).
Удалить Host и Sitemap.

Если смотреть конкретно на ваш форум, то у вас в принципе нормальный роботс. Только удалите ненужное дублирование запретов отдельно для гугла и яндекса. Оставьте только одну общую секцию User-agent: *
0

#49 Пользователь не на сайте   Alserk ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 11
  • Регистрация: 09-Январь 14
  • Репутация: 0
  • IPB version:3.1.x
 

Отправлено 30 Май 2015 - 21:16

Просмотреть сообщениеsiv1987 30 Май 2015 - 20:59 сказал(а):

С дистрибутивом форума по умолчанию поставляется robots - robotstxt.txt. Этот файл нужно скопировать в корень домена (форума, если он установлен в корне форума) и переименовать в robots.txt. Запреты в нем прописаны для форума который находится в папке /forum/. Если у вас форум находится в корне домена то нужно заменить /forum/ на /. Собственно это все.


Эта настройка не зависит от места положения форума. Чтобы знать что ставить в этой настройке читайте внимательно описания настройки.


Настроить запреты относительно того, где находится форум (смотрим выше).
Удалить Host и Sitemap.

Если смотреть конкретно на ваш форум, то у вас в принципе нормальный роботс. Только удалите ненужное дублирование запретов отдельно для гугла и яндекса. Оставьте только одну общую секцию User-agent: *


Я понял стандартный закинуть с дистрибутива и не бить голову,а скажите как избавится от дублей чтоб дубли не сканировал робот,и что зделать?Или в стандартном все ок прописано?
Удалить Host и Sitemap это в роботе я прав?
0

#50 Пользователь не на сайте   Alserk ответил: »

 
 
  • Member
  • **
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 11
  • Регистрация: 09-Январь 14
  • Репутация: 0
  • IPB version:3.1.x
 

Отправлено 30 Май 2015 - 21:32

Вот скачал что добавить,что убрать?скачал с ipb 3.4.6(свой я то закосячил и не сохранил дистрибутив оригинал)
Forum Я убрал,форум мой лежит в директории pablic.html может удалить её и создать название форума и туда кинуть его(я имею сам форум в ftp)Как лучше будет? что подскажите?
Как ещё сделать чтоб темы которые я удалил с форума не индексировались? ну чтоб не писало вашей темы не существует вы удалили её,что в роботе прописать?

# HOW TO USE THIS FILE:
# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------
User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*&module=search
Allow: /*&search_tags=
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Disallow: /go/
Disallow: /user/
Disallow: /members/
Disallow: /calendar/
Disallow: /register/
Disallow: /lostpass/
Disallow: /login/
Disallow: /index.php/user/
Disallow: /index.php/members/
Disallow: /index.php/calendar/
Disallow: /index.php/register/
Disallow: /index.php/lostpass/
Disallow: /index.php/login/
Disallow: /index.php?/user/
Disallow: /index.php?/members/
Disallow: /index.php?/calendar/
Disallow: /index.php?/register/
Disallow: /index.php?/lostpass/
Disallow: /index.php?/login/
Crawl-delay: 2

Смотрите Вот сщас правильно?Что ещё добавить?Удалить?

Сообщение изменено: Alserk (30 Май 2015 - 21:35)

0

#51 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 715
  • Регистрация: 20-Март 09
  • Репутация: 2 267
  • IPB version:3.1.x
 

Отправлено 31 Май 2015 - 19:48

Просмотреть сообщениеAlserk сказал(а):

Как ещё сделать чтоб темы которые я удалил с форума не индексировались? ну чтоб не писало вашей темы не существует вы удалили её,что в роботе прописать?

В роботсе ничего прописывать не нужно, потому что ссылки тем динамические. Удаленные темы возвращают код ответа 404 который не индексируется поисковыми системами.

Просмотреть сообщениеAlserk сказал(а):

Смотрите Вот сщас правильно?Что ещё добавить?Удалить?

Нормально. Если Вас ничего не беспокоит - то ничего. Основные дубли они закрывают.
0

Сообщить об этой теме:


  • 4 Страниц +
  • « Первая
  • 2
  • 3
  • 4
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

1 пользователей читают эту тему
0 зарегистрированных, 1 гостей, 0 скрытых


Контактная информация

Вопросы по работе сайта

+7 (917) 501-4765
C 10 до 20 в рабочие дни (время московское)

Техническая поддержка

Контактные данные специалистов

Дизайн форумов

IPB 3.x ¦ IPB 2.x

Бесплатные шаблоны

IPB 3.2 – 3.4 ¦ IPB 3.1 ¦ IPB 3.0 ¦ IPB 2.2 – 2.3 ¦ IPB 2.1 ¦ Клипарт
Лицензия на использование ¦ Ваша поддержка ¦ О проекте
Copyright © 2005-2016 IPBSkins.ru Team
При копировании материалов с сайта
прямая ссылка на источник обязательна