Перейти к публикации
Дизайн и модификация IPS Community IPBSkinsBETA
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...
boltuk

Помогите с robots.txt

Рекомендованные сообщения

@weiss, там 2.3x. http://beekipedia.ru/robots.txt

@Прокопенко, ждите пока гугл выкинет из индекса запрещенные страницы, и не будет их "выдавать" в поиске. Процесс может продлится до полу-года.

Поделиться сообщением


Ссылка на сообщение

Доброго времени суток Уважаемые форумчане!Извеняюсь если создал не там тему(модерыперенесите тему в соотвествующий раздел)

Я в Seo не сильно понимаюсуть моей проблеммы такова:На моём форуме ipb 3.1.4 стоиn robot.txt и вот что мне выдает яндекс!

 

Вот что выдаёт Яндекс Вэб мастер ajeEA7Io_inettools.net_crop_image.jpg

Рылся я в сети и нашол вот этот робот

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

 

Ставить пробывать рескую, чтоб не усугубить больше индексацию!Подскажите какой правильный и какой лутше для форума ipb 3.1.4 форум с 2011 года тиц был 30 потом я его выключил на пол года(обстоятельства так сложились,с декуабря 2014 года работает непрырывно.

И ещё маленький фопросик влияет на что это?Форум лежит в корне Public. html(Что поставить в этой настройке?

b9899bbfa274.jpg

Помогите пожайлуйста собрать оптимальный робот чтоб дубли не лезли,и как можно отсеять с поиска 404 ошибку тема не найдена то что я удалял.!Заранее благодарю,в долгу не останусь!

Посмотрел Ваш ipbskins.ru/robots.txt что мне там изменить?У меня Форум залит в pablic.html

Поделиться сообщением


Ссылка на сообщение

С дистрибутивом форума по умолчанию поставляется robots - robotstxt.txt. Этот файл нужно скопировать в корень домена (форума, если он установлен в корне форума) и переименовать в robots.txt. Запреты в нем прописаны для форума который находится в папке /forum/. Если у вас форум находится в корне домена то нужно заменить /forum/ на /. Собственно это все.

 

И ещё маленький фопросик влияет на что это?Форум лежит в корне Public. html(Что поставить в этой настройке?

Эта настройка не зависит от места положения форума. Чтобы знать что ставить в этой настройке читайте внимательно описания настройки.

 

Посмотрел Ваш ipbskins.ru/robots.txt что мне там изменить?У меня Форум залит в pablic.html

Настроить запреты относительно того, где находится форум (смотрим выше).

Удалить Host и Sitemap.

 

Если смотреть конкретно на ваш форум, то у вас в принципе нормальный роботс. Только удалите ненужное дублирование запретов отдельно для гугла и яндекса. Оставьте только одну общую секцию User-agent: *

Поделиться сообщением


Ссылка на сообщение

С дистрибутивом форума по умолчанию поставляется robots - robotstxt.txt. Этот файл нужно скопировать в корень домена (форума, если он установлен в корне форума) и переименовать в robots.txt. Запреты в нем прописаны для форума который находится в папке /forum/. Если у вас форум находится в корне домена то нужно заменить /forum/ на /. Собственно это все.

 

 

Эта настройка не зависит от места положения форума. Чтобы знать что ставить в этой настройке читайте внимательно описания настройки.

 

 

Настроить запреты относительно того, где находится форум (смотрим выше).

Удалить Host и Sitemap.

 

Если смотреть конкретно на ваш форум, то у вас в принципе нормальный роботс. Только удалите ненужное дублирование запретов отдельно для гугла и яндекса. Оставьте только одну общую секцию User-agent: *

 

Я понял стандартный закинуть с дистрибутива и не бить голову,а скажите как избавится от дублей чтоб дубли не сканировал робот,и что зделать?Или в стандартном все ок прописано?

Удалить Host и Sitemap это в роботе я прав?

Поделиться сообщением


Ссылка на сообщение
05/30/15 18:33 (изменено)

Вот скачал что добавить,что убрать?скачал с ipb 3.4.6(свой я то закосячил и не сохранил дистрибутив оригинал)

Forum Я убрал,форум мой лежит в директории pablic.html может удалить её и создать название форума и туда кинуть его(я имею сам форум в ftp)Как лучше будет? что подскажите?

Как ещё сделать чтоб темы которые я удалил с форума не индексировались? ну чтоб не писало вашей темы не существует вы удалили её,что в роботе прописать?

 

# HOW TO USE THIS FILE:

# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"

# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)

# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line

#

# NOTES:

# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them

#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*&module=search

Allow: /*&search_tags=

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

Disallow: /go/

Disallow: /user/

Disallow: /members/

Disallow: /calendar/

Disallow: /register/

Disallow: /lostpass/

Disallow: /login/

Disallow: /index.php/user/

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Disallow: /index.php?/user/

Disallow: /index.php?/members/

Disallow: /index.php?/calendar/

Disallow: /index.php?/register/

Disallow: /index.php?/lostpass/

Disallow: /index.php?/login/

Crawl-delay: 2

 

Смотрите Вот сщас правильно?Что ещё добавить?Удалить?

Изменено пользователем Alserk

Поделиться сообщением


Ссылка на сообщение

Как ещё сделать чтоб темы которые я удалил с форума не индексировались? ну чтоб не писало вашей темы не существует вы удалили её,что в роботе прописать?

В роботсе ничего прописывать не нужно, потому что ссылки тем динамические. Удаленные темы возвращают код ответа 404 который не индексируется поисковыми системами.

 

Смотрите Вот сщас правильно?Что ещё добавить?Удалить?

Нормально. Если Вас ничего не беспокоит - то ничего. Основные дубли они закрывают.

Поделиться сообщением


Ссылка на сообщение

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

×
×
  • Создать...