Перейти к публикации
Дизайн и модификация IPS Community IPBSkinsBETA
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...
Alex222

Правильный ли файл robots.txt ?

Рекомендованные сообщения

Привет всем!

Подскажите пожалуйста, правильный ли этот файл robots.txt ? Я его поставил и не знаю, всё ли там правильно.

 

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Поделиться сообщением


Ссылка на сообщение

Стандартный. Не хватает только)

 

После - Disallow: /*&section=dname

 

Disallow: /user/

Disallow: /members/

Disallow: /calendar/

Disallow: /register/

Disallow: /lostpass/

Disallow: /login/

Disallow: /index.php/user/

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Disallow: /index.php?/user/

Disallow: /index.php?/members/

Disallow: /index.php?/calendar/

Disallow: /index.php?/register/

Disallow: /index.php?/lostpass/

Disallow: /index.php?/login/

  • Upvote 1

Поделиться сообщением


Ссылка на сообщение

Спасибо! Только не понял, чего не хватает?

 

После - Disallow: /*&section=dname

 

И что после, тоже не понял?

Поделиться сообщением


Ссылка на сообщение

Кажется я понял вас, то есть должно быть так, верно? :

 

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

Disallow: /user/

Disallow: /members/

Disallow: /calendar/

Disallow: /register/

Disallow: /lostpass/

Disallow: /login/

Disallow: /index.php/user/

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Disallow: /index.php?/user/

Disallow: /index.php?/members/

Disallow: /index.php?/calendar/

Disallow: /index.php?/register/

Disallow: /index.php?/lostpass/

Disallow: /index.php?/login/

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Поделиться сообщением


Ссылка на сообщение

Только ответьте пожалуйста, так правильно будет?

И ещё важный момент для меня. Если я переименую папку - admin , то её ещё где то нужно переименовывать? Я знаю, что на некоторых движках сайтов нужно переименовывать ещё в АЦ. А здесь с этим как?

И попутно ещё вопрос. Если убрать с файла robots.txt папку admin, то значит она будет индексироваться? Тогда возникает вопрос, если папку admin запретить в robots.txt, смысл её переименовывать? Я в том смысле, что она будет доступна понимающм людям. Может кто пояснит, верно думаю или нет?

Поделиться сообщением


Ссылка на сообщение

У каждого индивидуально, уже не раз обсуждалось (Поиском воспользуйтесь), как составлять robots.txt (Вы дописали в конце запрет индексации пользователей- календаря - регистрации - восстановлении пароля и тд). теперь остается (оно Вам нужно или нет?), вдруг у Вас вообще просмотр профиля отключен, так-же касается модулей.

 

 

И ещё важный момент для меня. Если я переименую папку - admin , то её ещё где то нужно переименовывать? Я знаю, что на некоторых движках сайтов нужно переименовывать ещё в АЦ. А здесь с этим как?

И попутно ещё вопрос. Если убрать с файла robots.txt папку admin, то значит она будет индексироваться? Тогда возникает вопрос, если папку admin запретить в robots.txt, смысл её переименовывать? Я в том смысле, что она будет доступна понимающм людям. Может кто пояснит, верно думаю или нет?

 

- Переименовывайте, и в роботе тоже поменяйте.

- Если убрать с файла robots.txt - Ее уведет поисковик, проиндексирует толmrj систему входа и все, а не внутренность. (если честно видел форумы у которых роботов нету, но админ центр не попадает в поле зрения).

Поделиться сообщением


Ссылка на сообщение
09/16/14 06:34 (изменено)
У каждого индивидуально, уже не раз обсуждалось (Поиском воспользуйтесь), как составлять robots.txt (Вы дописали в конце запрет индексации пользователей- календаря - регистрации - восстановлении пароля и тд). теперь остается (оно Вам нужно или нет?), вдруг у Вас вообще просмотр профиля отключен, так-же касается модулей.

 

Я как бы понимаю, что индивидуален. Просто боюсь глупостей наделать. По сути, как и всем, мне не нужны дубли, а главное, чтобы индексировалась Главная страница, все страницы и темы, сообщения форума, кроме закрытых разделов и всё. Надеюсь этот robots соответствует этому?

 

- Переименовывайте, и в роботе тоже поменяйте.

- Если убрать с файла robots.txt - Ее уведет поисковик, проиндексирует толmrj систему входа и все, а не внутренность. (если честно видел форумы у которых роботов нету, но админ центр не попадает в поле зрения).

 

Я так понимаю, в АЦ не нужно переименовывать или точнее там нет этого?

По поводу того, чтобы папку admin убрать с robots.txt я не случайно спросил. На одном seo-форуме, некоторое время назад по моему другому сайту говорил один чел, что, если убрать папку admin, он всё равно не будет индексироваться, поэтому я спросил на всякий случай у вас.

Изменено пользователем Alex222

Поделиться сообщением


Ссылка на сообщение

Если сомневаешься лучше вообще удали роботс потому что можешь случайно вообще весь сайт закрыть

  • Upvote 1

Поделиться сообщением


Ссылка на сообщение
03/19/15 14:29 (изменено)

выложу и свой, может тоже наделал каких то ошибок в нём?

 

User-agent: *
Disallow: /admin/
Disallow: /webstat/
Disallow: /cgi-bin/
Disallow: /go/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /baners/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /members
Disallow: /calendar
Disallow: /user
Disallow: /conf_global.php
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*&module=search
Allow:	  /*&search_tags=
Disallow: /*?app=calendar
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Изменено пользователем wick

Поделиться сообщением


Ссылка на сообщение

подскажите правильно ли я всё сделал?:)) а то яндекс переполовинил почему то страницы в индексе

Поделиться сообщением


Ссылка на сообщение

@wick, я немного переделал Ваш роботс. Поставьте такой вариант:

 

User-agent: *
Disallow: /webstat/
Disallow: /go/
Disallow: /baners/
Disallow: /public/style_captcha/
Disallow: /members
Disallow: /calendar
Disallow: /user
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*&module=search
Allow:    /*&search_tags=
Disallow: /*?app=calendar
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

 

Я не добавлял ничего нового, только убрал из Вашего роботса непубличные папки, которые размещать там - только лишний повод для кулхацкеров ))

  • Upvote 1

Поделиться сообщением


Ссылка на сообщение

Спасибо, заменил

Поделиться сообщением


Ссылка на сообщение

может ли быть связано падение трафика на форуме с установкой этого роботса? так как на следующий день как заменил его, гугл подстриг сразу количество страниц на 60 000 , понимаю что эту дубли уехали, но трафик в среднем упал на эти три дня после внесения изменений упал значительно )

Поделиться сообщением


Ссылка на сообщение

Теоретически может, так как те дубли которые были в индексе и приносили траффик уехали, и пс нужно определить новый канонический адрес этому контенту. Но со временем, если причина связана с роботс, трафик должен нормализоваться. Кроме того, за один день бот физически не может исключить столько страниц, это происходит месяцами.

Поделиться сообщением


Ссылка на сообщение

Теоретически может, так как те дубли которые были в индексе и приносили траффик уехали, и пс нужно определить новый канонический адрес этому контенту. Но со временем, если причина связана с роботс, трафик должен нормализоваться. Кроме того, за один день бот физически не может исключить столько страниц, это происходит месяцами.

ну вот сам не понял что произошло ) почему так быстро ) , ну будем ждать, когда трафик обратно вернётся ))

 

ПС. извините что не в тему, сейчас вот только обратил внимание, здесь в редакторе работает словарь орфографии, ошибки подсвечивает, у меня он не работает почему то )) Если не сложно пульните ссылкой как это исправить. Спасибо!

Поделиться сообщением


Ссылка на сообщение

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

×
×
  • Создать...