Помогите с robots.txt

[siv1987 2629]

@weiss, там 2.3x. http://beekipedia.ru/robots.txt

@Прокопенко, ждите пока гугл выкинет из индекса запрещенные страницы, и не будет их "выдавать" в поиске. Процесс может продлится до полу-года.

[Alserk 0]

Доброго времени суток Уважаемые форумчане!Извеняюсь если создал не там тему(модерыперенесите тему в соотвествующий раздел)

Я в Seo не сильно понимаюсуть моей проблеммы такова:На моём форуме ipb 3.1.4 стоиn robot.txt и вот что мне выдает яндекс!

 

Вот что выдаёт Яндекс Вэб мастер

Рылся я в сети и нашол вот этот робот

  Показать содержимое

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

 

Ставить пробывать рескую, чтоб не усугубить больше индексацию!Подскажите какой правильный и какой лутше для форума ipb 3.1.4 форум с 2011 года тиц был 30 потом я его выключил на пол года(обстоятельства так сложились,с декуабря 2014 года работает непрырывно.

И ещё маленький фопросик влияет на что это?Форум лежит в корне Public. html(Что поставить в этой настройке?

Помогите пожайлуйста собрать оптимальный робот чтоб дубли не лезли,и как можно отсеять с поиска 404 ошибку тема не найдена то что я удалял.!Заранее благодарю,в долгу не останусь!

Посмотрел Ваш ipbskins.ru/robots.txt что мне там изменить?У меня Форум залит в pablic.html

[siv1987 2629]

С дистрибутивом форума по умолчанию поставляется robots - robotstxt.txt. Этот файл нужно скопировать в корень домена (форума, если он установлен в корне форума) и переименовать в robots.txt. Запреты в нем прописаны для форума который находится в папке /forum/. Если у вас форум находится в корне домена то нужно заменить /forum/ на /. Собственно это все.

 

  Цитата

И ещё маленький фопросик влияет на что это?Форум лежит в корне Public. html(Что поставить в этой настройке?

Эта настройка не зависит от места положения форума. Чтобы знать что ставить в этой настройке читайте внимательно описания настройки.

 

  Alserk писал:

Посмотрел Ваш ipbskins.ru/robots.txt что мне там изменить?У меня Форум залит в pablic.html

Настроить запреты относительно того, где находится форум (смотрим выше).

Удалить Host и Sitemap.

 

Если смотреть конкретно на ваш форум, то у вас в принципе нормальный роботс. Только удалите ненужное дублирование запретов отдельно для гугла и яндекса. Оставьте только одну общую секцию User-agent: *

[Alserk 0]

  30.05.2015 в 18:00, siv1987 сказал:

С дистрибутивом форума по умолчанию поставляется robots - robotstxt.txt. Этот файл нужно скопировать в корень домена (форума, если он установлен в корне форума) и переименовать в robots.txt. Запреты в нем прописаны для форума который находится в папке /forum/. Если у вас форум находится в корне домена то нужно заменить /forum/ на /. Собственно это все.

 

 

Эта настройка не зависит от места положения форума. Чтобы знать что ставить в этой настройке читайте внимательно описания настройки.

 

 

Настроить запреты относительно того, где находится форум (смотрим выше).

Удалить Host и Sitemap.

 

Если смотреть конкретно на ваш форум, то у вас в принципе нормальный роботс. Только удалите ненужное дублирование запретов отдельно для гугла и яндекса. Оставьте только одну общую секцию User-agent: *

 

Я понял стандартный закинуть с дистрибутива и не бить голову,а скажите как избавится от дублей чтоб дубли не сканировал робот,и что зделать?Или в стандартном все ок прописано?

Удалить Host и Sitemap это в роботе я прав?

[Alserk 0]

Вот скачал что добавить,что убрать?скачал с ipb 3.4.6(свой я то закосячил и не сохранил дистрибутив оригинал)

Forum Я убрал,форум мой лежит в директории pablic.html может удалить её и создать название форума и туда кинуть его(я имею сам форум в ftp)Как лучше будет? что подскажите?

Как ещё сделать чтоб темы которые я удалил с форума не индексировались? ну чтоб не писало вашей темы не существует вы удалили её,что в роботе прописать?

 

# HOW TO USE THIS FILE:

# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"

# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)

# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line

#

# NOTES:

# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them

#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*&module=search

Allow: /*&search_tags=

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

Disallow: /go/

Disallow: /user/

Disallow: /members/

Disallow: /calendar/

Disallow: /register/

Disallow: /lostpass/

Disallow: /login/

Disallow: /index.php/user/

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Disallow: /index.php?/user/

Disallow: /index.php?/members/

Disallow: /index.php?/calendar/

Disallow: /index.php?/register/

Disallow: /index.php?/lostpass/

Disallow: /index.php?/login/

Crawl-delay: 2

 

Смотрите Вот сщас правильно?Что ещё добавить?Удалить?

Изменено 30 мая 2015 пользователем Alserk

[siv1987 2629]

  Alserk писал:

Как ещё сделать чтоб темы которые я удалил с форума не индексировались? ну чтоб не писало вашей темы не существует вы удалили её,что в роботе прописать?

В роботсе ничего прописывать не нужно, потому что ссылки тем динамические. Удаленные темы возвращают код ответа 404 который не индексируется поисковыми системами.

 

  Alserk писал:

Смотрите Вот сщас правильно?Что ещё добавить?Удалить?

Нормально. Если Вас ничего не беспокоит - то ничего. Основные дубли они закрывают.