Правильный ли файл robots.txt ? - Дизайн и модификация Invision Power Board

Перейти к содержимому

 

Правила раздела

Здесь обсуждаются проблемы поисковой оптимизации и индексирования форумов.
Если зашли сюда случайно, пожалуйста, не оффтопьте и обратите внимание на другие разделы.
Оформление форумов, включая верстку скинов.
Настройка форумов, установка и администрирование.
Размещение рекламы на форумах.
Техническая поддержка наших скинов и модов.

СвернутьПрикрепленные теги

Теги не найдены

Страница 1 из 1
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

Правильный ли файл robots.txt ?

#1 Пользователь не на сайте   Alex222 ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 384
  • Регистрация: 04-Сентябрь 14
  • Репутация: 1
  • IPB version:3.4.x
 

Отправлено 16 Сентябрь 2014 - 06:51

Привет всем!
Подскажите пожалуйста, правильный ли этот файл robots.txt ? Я его поставил и не знаю, всё ли там правильно.

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
0

#2 Пользователь на сайте   Атаман ответил: »

 
 
  • Advanced
  • Смотреть блог
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins.ru Team
  • Сообщений: 2 050
  • Регистрация: 13-Апрель 12
  • Репутация: 310
  • Откуда:no
  • IPB version:1.x
 

Отправлено 16 Сентябрь 2014 - 08:05

Стандартный. Не хватает только)

После - Disallow: /*&section=dname

Disallow: /user/
Disallow: /members/
Disallow: /calendar/
Disallow: /register/
Disallow: /lostpass/
Disallow: /login/
Disallow: /index.php/user/
Disallow: /index.php/members/
Disallow: /index.php/calendar/
Disallow: /index.php/register/
Disallow: /index.php/lostpass/
Disallow: /index.php/login/
Disallow: /index.php?/user/
Disallow: /index.php?/members/
Disallow: /index.php?/calendar/
Disallow: /index.php?/register/
Disallow: /index.php?/lostpass/
Disallow: /index.php?/login/
1

#3 Пользователь не на сайте   Alex222 ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 384
  • Регистрация: 04-Сентябрь 14
  • Репутация: 1
  • IPB version:3.4.x
 

Отправлено 16 Сентябрь 2014 - 08:12

Спасибо! Только не понял, чего не хватает?

Цитата

После - Disallow: /*&section=dname


И что после, тоже не понял?
0

#4 Пользователь не на сайте   Alex222 ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 384
  • Регистрация: 04-Сентябрь 14
  • Репутация: 1
  • IPB version:3.4.x
 

Отправлено 16 Сентябрь 2014 - 08:51

Кажется я понял вас, то есть должно быть так, верно? :

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Disallow: /user/
Disallow: /members/
Disallow: /calendar/
Disallow: /register/
Disallow: /lostpass/
Disallow: /login/
Disallow: /index.php/user/
Disallow: /index.php/members/
Disallow: /index.php/calendar/
Disallow: /index.php/register/
Disallow: /index.php/lostpass/
Disallow: /index.php/login/
Disallow: /index.php?/user/
Disallow: /index.php?/members/
Disallow: /index.php?/calendar/
Disallow: /index.php?/register/
Disallow: /index.php?/lostpass/
Disallow: /index.php?/login/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
0

#5 Пользователь не на сайте   Alex222 ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 384
  • Регистрация: 04-Сентябрь 14
  • Репутация: 1
  • IPB version:3.4.x
 

Отправлено 16 Сентябрь 2014 - 09:03

Только ответьте пожалуйста, так правильно будет?
И ещё важный момент для меня. Если я переименую папку - admin , то её ещё где то нужно переименовывать? Я знаю, что на некоторых движках сайтов нужно переименовывать ещё в АЦ. А здесь с этим как?
И попутно ещё вопрос. Если убрать с файла robots.txt папку admin, то значит она будет индексироваться? Тогда возникает вопрос, если папку admin запретить в robots.txt, смысл её переименовывать? Я в том смысле, что она будет доступна понимающм людям. Может кто пояснит, верно думаю или нет?
0

#6 Пользователь на сайте   Атаман ответил: »

 
 
  • Advanced
  • Смотреть блог
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins.ru Team
  • Сообщений: 2 050
  • Регистрация: 13-Апрель 12
  • Репутация: 310
  • Откуда:no
  • IPB version:1.x
 

Отправлено 16 Сентябрь 2014 - 09:23

У каждого индивидуально, уже не раз обсуждалось (Поиском воспользуйтесь), как составлять robots.txt (Вы дописали в конце запрет индексации пользователей- календаря - регистрации - восстановлении пароля и тд). теперь остается (оно Вам нужно или нет?), вдруг у Вас вообще просмотр профиля отключен, так-же касается модулей.


Цитата

И ещё важный момент для меня. Если я переименую папку - admin , то её ещё где то нужно переименовывать? Я знаю, что на некоторых движках сайтов нужно переименовывать ещё в АЦ. А здесь с этим как?
И попутно ещё вопрос. Если убрать с файла robots.txt папку admin, то значит она будет индексироваться? Тогда возникает вопрос, если папку admin запретить в robots.txt, смысл её переименовывать? Я в том смысле, что она будет доступна понимающм людям. Может кто пояснит, верно думаю или нет?


- Переименовывайте, и в роботе тоже поменяйте.
- Если убрать с файла robots.txt - Ее уведет поисковик, проиндексирует толmrj систему входа и все, а не внутренность. (если честно видел форумы у которых роботов нету, но админ центр не попадает в поле зрения).
0

#7 Пользователь не на сайте   Alex222 ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 384
  • Регистрация: 04-Сентябрь 14
  • Репутация: 1
  • IPB version:3.4.x
 

Отправлено 16 Сентябрь 2014 - 09:33

Цитата

У каждого индивидуально, уже не раз обсуждалось (Поиском воспользуйтесь), как составлять robots.txt (Вы дописали в конце запрет индексации пользователей- календаря - регистрации - восстановлении пароля и тд). теперь остается (оно Вам нужно или нет?), вдруг у Вас вообще просмотр профиля отключен, так-же касается модулей.


Я как бы понимаю, что индивидуален. Просто боюсь глупостей наделать. По сути, как и всем, мне не нужны дубли, а главное, чтобы индексировалась Главная страница, все страницы и темы, сообщения форума, кроме закрытых разделов и всё. Надеюсь этот robots соответствует этому?

Цитата

- Переименовывайте, и в роботе тоже поменяйте.
- Если убрать с файла robots.txt - Ее уведет поисковик, проиндексирует толmrj систему входа и все, а не внутренность. (если честно видел форумы у которых роботов нету, но админ центр не попадает в поле зрения).


Я так понимаю, в АЦ не нужно переименовывать или точнее там нет этого?
По поводу того, чтобы папку admin убрать с robots.txt я не случайно спросил. На одном seo-форуме, некоторое время назад по моему другому сайту говорил один чел, что, если убрать папку admin, он всё равно не будет индексироваться, поэтому я спросил на всякий случай у вас.

Сообщение изменено: Alex222 (16 Сентябрь 2014 - 09:35)

0

#8 Пользователь не на сайте   koval0312 ответил: »

 
 
  • Newbie
  • *
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 3
  • Регистрация: 12-Ноябрь 14
  • Репутация: 1
  • Откуда:Сочи
  • IPB version:3.1.x
 

Отправлено 12 Ноябрь 2014 - 15:38

Если сомневаешься лучше вообще удали роботс потому что можешь случайно вообще весь сайт закрыть
1

#9 Пользователь не на сайте   wick ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 293
  • Регистрация: 12-Февраль 15
  • Репутация: 2
  • IPB version:3.4.x
 

Отправлено 19 Март 2015 - 17:28

выложу и свой, может тоже наделал каких то ошибок в нём?

User-agent: *
Disallow: /admin/
Disallow: /webstat/
Disallow: /cgi-bin/
Disallow: /go/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /baners/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /members
Disallow: /calendar
Disallow: /user
Disallow: /conf_global.php
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*&module=search
Allow:	  /*&search_tags=
Disallow: /*?app=calendar
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Сообщение изменено: wick (19 Март 2015 - 18:05)

0

#10 Пользователь не на сайте   wick ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 293
  • Регистрация: 12-Февраль 15
  • Репутация: 2
  • IPB version:3.4.x
 

Отправлено 20 Март 2015 - 18:22

подскажите правильно ли я всё сделал?:)) а то яндекс переполовинил почему то страницы в индексе
0

#11 Пользователь не на сайте   Одмин ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 574
  • Регистрация: 21-Апрель 13
  • Репутация: 40
  • IPB version:3.4.x
 

Отправлено 21 Март 2015 - 11:16

wick, я немного переделал Ваш роботс. Поставьте такой вариант:

User-agent: *
Disallow: /webstat/
Disallow: /go/
Disallow: /baners/
Disallow: /public/style_captcha/
Disallow: /members
Disallow: /calendar
Disallow: /user
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*&module=search
Allow:    /*&search_tags=
Disallow: /*?app=calendar
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Host: site.ru
Sitemap: http://site.ru/sitemap.xml


Я не добавлял ничего нового, только убрал из Вашего роботса непубличные папки, которые размещать там - только лишний повод для кулхацкеров ))
0

#12 Пользователь не на сайте   wick ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 293
  • Регистрация: 12-Февраль 15
  • Репутация: 2
  • IPB version:3.4.x
 

Отправлено 21 Март 2015 - 12:02

Спасибо, заменил
0

#13 Пользователь не на сайте   wick ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 293
  • Регистрация: 12-Февраль 15
  • Репутация: 2
  • IPB version:3.4.x
 

Отправлено 23 Март 2015 - 20:53

может ли быть связано падение трафика на форуме с установкой этого роботса? так как на следующий день как заменил его, гугл подстриг сразу количество страниц на 60 000 , понимаю что эту дубли уехали, но трафик в среднем упал на эти три дня после внесения изменений упал значительно )
0

#14 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 245
  • Регистрация: 20-Март 09
  • Репутация: 2 062
  • IPB version:3.1.x
 

Отправлено 23 Март 2015 - 21:02

Теоретически может, так как те дубли которые были в индексе и приносили траффик уехали, и пс нужно определить новый канонический адрес этому контенту. Но со временем, если причина связана с роботс, трафик должен нормализоваться. Кроме того, за один день бот физически не может исключить столько страниц, это происходит месяцами.
0

#15 Пользователь не на сайте   wick ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 293
  • Регистрация: 12-Февраль 15
  • Репутация: 2
  • IPB version:3.4.x
 

Отправлено 23 Март 2015 - 21:27

Просмотреть сообщениеsiv1987 23 Март 2015 - 21:02 сказал(а):

Теоретически может, так как те дубли которые были в индексе и приносили траффик уехали, и пс нужно определить новый канонический адрес этому контенту. Но со временем, если причина связана с роботс, трафик должен нормализоваться. Кроме того, за один день бот физически не может исключить столько страниц, это происходит месяцами.

ну вот сам не понял что произошло ) почему так быстро ) , ну будем ждать, когда трафик обратно вернётся ))

ПС. извините что не в тему, сейчас вот только обратил внимание, здесь в редакторе работает словарь орфографии, ошибки подсвечивает, у меня он не работает почему то )) Если не сложно пульните ссылкой как это исправить. Спасибо!
0

Сообщить об этой теме:


Страница 1 из 1
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

1 пользователей читают эту тему
0 зарегистрированных, 1 гостей, 0 скрытых


Контактная информация

Вопросы по работе сайта

+7 (917) 501-4765
C 10 до 20 в рабочие дни (время московское)

Техническая поддержка

Контактные данные специалистов

Дизайн форумов

IPB 3.x ¦ IPB 2.x

Бесплатные шаблоны

IPB 3.2 – 3.4 ¦ IPB 3.1 ¦ IPB 3.0 ¦ IPB 2.2 – 2.3 ¦ IPB 2.1 ¦ Клипарт
Лицензия на использование ¦ Ваша поддержка ¦ О проекте
Copyright © 2005-2016 IPBSkins.ru Team
При копировании материалов с сайта
прямая ссылка на источник обязательна