Помогите пожалуйста с robots.txt, не могу разобраться...

Вообщем у меня стоит сайт и форум. сайт на движке(Joomla), форум(IPB). На форуме стоит мод (DB23) Google SiteMap Generator.

Сайт лежит в корне, форум в директории /forum/.

Вопрос №1: robots.txt в какой директории должен лежать? В корне или /forum/, или там и там?

Вопрос №2: в robots.txt что прописать используя мод (DB23) Google SiteMap Generator? Sitemap: а дальше какой путь на какой файл?

Вопрос №3: какой адресс в robots.txt прописать? www.mysite.ru или www.mysite.ru/forum/ или оба прописать? что бы поисковики видели как главный адресс.

 

Простите что такое спрашиваю, читал статьи но так ничего и не понял. Помогите пожалуйста, буду очень Вам признателен.

Спасибо.

Доброго времени суток Уважаемые форумчане!Извеняюсь если создал не там тему(модерыперенесите тему в соотвествующий раздел)

Я в Seo не сильно понимаюсуть моей проблеммы такова:На моём форуме ipb 3.1.4 стоиn robot.txt и вот что мне выдает яндекс!

 

Вот что выдаёт Яндекс Вэб мастер

Рылся я в сети и нашол вот этот робот

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

 

Ставить пробывать рескую, чтоб не усугубить больше индексацию!Подскажите какой правильный и какой лутше для форума ipb 3.1.4 форум с 2011 года тиц был 30 потом я его выключил на пол года(обстоятельства так сложились,с декуабря 2014 года работает непрырывно.

И ещё маленький фопросик влияет на что это?Форум лежит в корне Public. html(Что поставить в этой настройке?

Помогите пожайлуйста собрать оптимальный робот чтоб дубли не лезли,и как можно отсеять с поиска 404 ошибку тема не найдена то что я удалял.!Заранее благодарю,в долгу не останусь!

Посмотрел Ваш ipbskins.ru/robots.txt что мне там изменить?У меня Форум залит в pablic.html

С дистрибутивом форума по умолчанию поставляется robots - robotstxt.txt. Этот файл нужно скопировать в корень домена (форума, если он установлен в корне форума) и переименовать в robots.txt. Запреты в нем прописаны для форума который находится в папке /forum/. Если у вас форум находится в корне домена то нужно заменить /forum/ на /. Собственно это все.

 

И ещё маленький фопросик влияет на что это?Форум лежит в корне Public. html(Что поставить в этой настройке?

Эта настройка не зависит от места положения форума. Чтобы знать что ставить в этой настройке читайте внимательно описания настройки.

 

Посмотрел Ваш ipbskins.ru/robots.txt что мне там изменить?У меня Форум залит в pablic.html

Настроить запреты относительно того, где находится форум (смотрим выше).

Удалить Host и Sitemap.

 

Если смотреть конкретно на ваш форум, то у вас в принципе нормальный роботс. Только удалите ненужное дублирование запретов отдельно для гугла и яндекса. Оставьте только одну общую секцию User-agent: *

С дистрибутивом форума по умолчанию поставляется robots - robotstxt.txt. Этот файл нужно скопировать в корень домена (форума, если он установлен в корне форума) и переименовать в robots.txt. Запреты в нем прописаны для форума который находится в папке /forum/. Если у вас форум находится в корне домена то нужно заменить /forum/ на /. Собственно это все.

 

 

Эта настройка не зависит от места положения форума. Чтобы знать что ставить в этой настройке читайте внимательно описания настройки.

 

 

Настроить запреты относительно того, где находится форум (смотрим выше).

Удалить Host и Sitemap.

 

Если смотреть конкретно на ваш форум, то у вас в принципе нормальный роботс. Только удалите ненужное дублирование запретов отдельно для гугла и яндекса. Оставьте только одну общую секцию User-agent: *

 

Я понял стандартный закинуть с дистрибутива и не бить голову,а скажите как избавится от дублей чтоб дубли не сканировал робот,и что зделать?Или в стандартном все ок прописано?

Удалить Host и Sitemap это в роботе я прав?

Вот скачал что добавить,что убрать?скачал с ipb 3.4.6(свой я то закосячил и не сохранил дистрибутив оригинал)

Forum Я убрал,форум мой лежит в директории pablic.html может удалить её и создать название форума и туда кинуть его(я имею сам форум в ftp)Как лучше будет? что подскажите?

Как ещё сделать чтоб темы которые я удалил с форума не индексировались? ну чтоб не писало вашей темы не существует вы удалили её,что в роботе прописать?

 

# HOW TO USE THIS FILE:

# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"

# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)

# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line

#

# NOTES:

# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them

#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*&module=search

Allow: /*&search_tags=

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

Disallow: /go/

Disallow: /user/

Disallow: /members/

Disallow: /calendar/

Disallow: /register/

Disallow: /lostpass/

Disallow: /login/

Disallow: /index.php/user/

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Disallow: /index.php?/user/

Disallow: /index.php?/members/

Disallow: /index.php?/calendar/

Disallow: /index.php?/register/

Disallow: /index.php?/lostpass/

Disallow: /index.php?/login/

Crawl-delay: 2

 

Смотрите Вот сщас правильно?Что ещё добавить?Удалить?

Edited May 30, 201511 yr by Alserk

Как ещё сделать чтоб темы которые я удалил с форума не индексировались? ну чтоб не писало вашей темы не существует вы удалили её,что в роботе прописать?

В роботсе ничего прописывать не нужно, потому что ссылки тем динамические. Удаленные темы возвращают код ответа 404 который не индексируется поисковыми системами.

 

Смотрите Вот сщас правильно?Что ещё добавить?Удалить?

Нормально. Если Вас ничего не беспокоит - то ничего. Основные дубли они закрывают.