Jump to content
Дизайн и модификация IPS Community IPBSkinsBETA
Search In
  • More options...
Find results that contain...
Find results in...
Sign in to follow this  
boltuk

Помогите с robots.txt

Recommended Posts

Доброго времени суток Уважаемые форумчане!Извеняюсь если создал не там тему(модерыперенесите тему в соотвествующий раздел)

Я в Seo не сильно понимаюсуть моей проблеммы такова:На моём форуме ipb 3.1.4 стоиn robot.txt и вот что мне выдает яндекс!

 

Вот что выдаёт Яндекс Вэб мастер ajeEA7Io_inettools.net_crop_image.jpg

Рылся я в сети и нашол вот этот робот

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

 

Ставить пробывать рескую, чтоб не усугубить больше индексацию!Подскажите какой правильный и какой лутше для форума ipb 3.1.4 форум с 2011 года тиц был 30 потом я его выключил на пол года(обстоятельства так сложились,с декуабря 2014 года работает непрырывно.

И ещё маленький фопросик влияет на что это?Форум лежит в корне Public. html(Что поставить в этой настройке?

b9899bbfa274.jpg

Помогите пожайлуйста собрать оптимальный робот чтоб дубли не лезли,и как можно отсеять с поиска 404 ошибку тема не найдена то что я удалял.!Заранее благодарю,в долгу не останусь!

Посмотрел Ваш ipbskins.ru/robots.txt что мне там изменить?У меня Форум залит в pablic.html

Share this post


Link to post
Share on other sites

С дистрибутивом форума по умолчанию поставляется robots - robotstxt.txt. Этот файл нужно скопировать в корень домена (форума, если он установлен в корне форума) и переименовать в robots.txt. Запреты в нем прописаны для форума который находится в папке /forum/. Если у вас форум находится в корне домена то нужно заменить /forum/ на /. Собственно это все.

 

И ещё маленький фопросик влияет на что это?Форум лежит в корне Public. html(Что поставить в этой настройке?

Эта настройка не зависит от места положения форума. Чтобы знать что ставить в этой настройке читайте внимательно описания настройки.

 

Посмотрел Ваш ipbskins.ru/robots.txt что мне там изменить?У меня Форум залит в pablic.html

Настроить запреты относительно того, где находится форум (смотрим выше).

Удалить Host и Sitemap.

 

Если смотреть конкретно на ваш форум, то у вас в принципе нормальный роботс. Только удалите ненужное дублирование запретов отдельно для гугла и яндекса. Оставьте только одну общую секцию User-agent: *

Share this post


Link to post
Share on other sites

С дистрибутивом форума по умолчанию поставляется robots - robotstxt.txt. Этот файл нужно скопировать в корень домена (форума, если он установлен в корне форума) и переименовать в robots.txt. Запреты в нем прописаны для форума который находится в папке /forum/. Если у вас форум находится в корне домена то нужно заменить /forum/ на /. Собственно это все.

 

 

Эта настройка не зависит от места положения форума. Чтобы знать что ставить в этой настройке читайте внимательно описания настройки.

 

 

Настроить запреты относительно того, где находится форум (смотрим выше).

Удалить Host и Sitemap.

 

Если смотреть конкретно на ваш форум, то у вас в принципе нормальный роботс. Только удалите ненужное дублирование запретов отдельно для гугла и яндекса. Оставьте только одну общую секцию User-agent: *

 

Я понял стандартный закинуть с дистрибутива и не бить голову,а скажите как избавится от дублей чтоб дубли не сканировал робот,и что зделать?Или в стандартном все ок прописано?

Удалить Host и Sitemap это в роботе я прав?

Share this post


Link to post
Share on other sites

Вот скачал что добавить,что убрать?скачал с ipb 3.4.6(свой я то закосячил и не сохранил дистрибутив оригинал)

Forum Я убрал,форум мой лежит в директории pablic.html может удалить её и создать название форума и туда кинуть его(я имею сам форум в ftp)Как лучше будет? что подскажите?

Как ещё сделать чтоб темы которые я удалил с форума не индексировались? ну чтоб не писало вашей темы не существует вы удалили её,что в роботе прописать?

 

# HOW TO USE THIS FILE:

# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"

# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)

# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line

#

# NOTES:

# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them

#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*&module=search

Allow: /*&search_tags=

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

Disallow: /go/

Disallow: /user/

Disallow: /members/

Disallow: /calendar/

Disallow: /register/

Disallow: /lostpass/

Disallow: /login/

Disallow: /index.php/user/

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Disallow: /index.php?/user/

Disallow: /index.php?/members/

Disallow: /index.php?/calendar/

Disallow: /index.php?/register/

Disallow: /index.php?/lostpass/

Disallow: /index.php?/login/

Crawl-delay: 2

 

Смотрите Вот сщас правильно?Что ещё добавить?Удалить?

Edited by Alserk

Share this post


Link to post
Share on other sites

Как ещё сделать чтоб темы которые я удалил с форума не индексировались? ну чтоб не писало вашей темы не существует вы удалили её,что в роботе прописать?

В роботсе ничего прописывать не нужно, потому что ссылки тем динамические. Удаленные темы возвращают код ответа 404 который не индексируется поисковыми системами.

 

Смотрите Вот сщас правильно?Что ещё добавить?Удалить?

Нормально. Если Вас ничего не беспокоит - то ничего. Основные дубли они закрывают.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...