Jump to content
Дизайн и модификация IPS Community

Правильный ли файл robots.txt ?

Alex222
 Share

Recommended Posts

Alex222 Newbie

Alex222

Posted
Posted

Привет всем!

Подскажите пожалуйста, правильный ли этот файл robots.txt ? Я его поставил и не знаю, всё ли там правильно.

 

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Link to comment
Share on other sites
Атаман Rookie

Атаман

Posted
Posted

Стандартный. Не хватает только)

 

После - Disallow: /*&section=dname

 

Disallow: /user/

Disallow: /members/

Disallow: /calendar/

Disallow: /register/

Disallow: /lostpass/

Disallow: /login/

Disallow: /index.php/user/

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Disallow: /index.php?/user/

Disallow: /index.php?/members/

Disallow: /index.php?/calendar/

Disallow: /index.php?/register/

Disallow: /index.php?/lostpass/

Disallow: /index.php?/login/

  • Upvote 1
Link to comment
Share on other sites
Alex222 Newbie

Alex222

Posted
  • Author
Posted

Кажется я понял вас, то есть должно быть так, верно? :

 

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

Disallow: /user/

Disallow: /members/

Disallow: /calendar/

Disallow: /register/

Disallow: /lostpass/

Disallow: /login/

Disallow: /index.php/user/

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Disallow: /index.php?/user/

Disallow: /index.php?/members/

Disallow: /index.php?/calendar/

Disallow: /index.php?/register/

Disallow: /index.php?/lostpass/

Disallow: /index.php?/login/

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Link to comment
Share on other sites
Alex222 Newbie

Alex222

Posted
  • Author
Posted

Только ответьте пожалуйста, так правильно будет?

И ещё важный момент для меня. Если я переименую папку - admin , то её ещё где то нужно переименовывать? Я знаю, что на некоторых движках сайтов нужно переименовывать ещё в АЦ. А здесь с этим как?

И попутно ещё вопрос. Если убрать с файла robots.txt папку admin, то значит она будет индексироваться? Тогда возникает вопрос, если папку admin запретить в robots.txt, смысл её переименовывать? Я в том смысле, что она будет доступна понимающм людям. Может кто пояснит, верно думаю или нет?

Link to comment
Share on other sites
Атаман Rookie

Атаман

Posted
Posted

У каждого индивидуально, уже не раз обсуждалось (Поиском воспользуйтесь), как составлять robots.txt (Вы дописали в конце запрет индексации пользователей- календаря - регистрации - восстановлении пароля и тд). теперь остается (оно Вам нужно или нет?), вдруг у Вас вообще просмотр профиля отключен, так-же касается модулей.

 

 

И ещё важный момент для меня. Если я переименую папку - admin , то её ещё где то нужно переименовывать? Я знаю, что на некоторых движках сайтов нужно переименовывать ещё в АЦ. А здесь с этим как?

И попутно ещё вопрос. Если убрать с файла robots.txt папку admin, то значит она будет индексироваться? Тогда возникает вопрос, если папку admin запретить в robots.txt, смысл её переименовывать? Я в том смысле, что она будет доступна понимающм людям. Может кто пояснит, верно думаю или нет?

 

- Переименовывайте, и в роботе тоже поменяйте.

- Если убрать с файла robots.txt - Ее уведет поисковик, проиндексирует толmrj систему входа и все, а не внутренность. (если честно видел форумы у которых роботов нету, но админ центр не попадает в поле зрения).

Link to comment
Share on other sites
Alex222 Newbie

Alex222

Posted
  • Author
Posted (edited)
У каждого индивидуально, уже не раз обсуждалось (Поиском воспользуйтесь), как составлять robots.txt (Вы дописали в конце запрет индексации пользователей- календаря - регистрации - восстановлении пароля и тд). теперь остается (оно Вам нужно или нет?), вдруг у Вас вообще просмотр профиля отключен, так-же касается модулей.

 

Я как бы понимаю, что индивидуален. Просто боюсь глупостей наделать. По сути, как и всем, мне не нужны дубли, а главное, чтобы индексировалась Главная страница, все страницы и темы, сообщения форума, кроме закрытых разделов и всё. Надеюсь этот robots соответствует этому?

 

- Переименовывайте, и в роботе тоже поменяйте.

- Если убрать с файла robots.txt - Ее уведет поисковик, проиндексирует толmrj систему входа и все, а не внутренность. (если честно видел форумы у которых роботов нету, но админ центр не попадает в поле зрения).

 

Я так понимаю, в АЦ не нужно переименовывать или точнее там нет этого?

По поводу того, чтобы папку admin убрать с robots.txt я не случайно спросил. На одном seo-форуме, некоторое время назад по моему другому сайту говорил один чел, что, если убрать папку admin, он всё равно не будет индексироваться, поэтому я спросил на всякий случай у вас.

Edited by Alex222
Link to comment
Share on other sites
  • 1 month later...
  • 4 months later...
wick Newbie

wick

Posted
Posted (edited)

выложу и свой, может тоже наделал каких то ошибок в нём?

 

User-agent: *
Disallow: /admin/
Disallow: /webstat/
Disallow: /cgi-bin/
Disallow: /go/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /baners/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /members
Disallow: /calendar
Disallow: /user
Disallow: /conf_global.php
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*&module=search
Allow:	  /*&search_tags=
Disallow: /*?app=calendar
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Edited by wick
Link to comment
Share on other sites
wick Newbie

wick

Posted
Posted

подскажите правильно ли я всё сделал?:)) а то яндекс переполовинил почему то страницы в индексе

Link to comment
Share on other sites
Одмин Newbie

Одмин

Posted
Posted

@wick, я немного переделал Ваш роботс. Поставьте такой вариант:

 

User-agent: *
Disallow: /webstat/
Disallow: /go/
Disallow: /baners/
Disallow: /public/style_captcha/
Disallow: /members
Disallow: /calendar
Disallow: /user
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*&module=search
Allow:    /*&search_tags=
Disallow: /*?app=calendar
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

 

Я не добавлял ничего нового, только убрал из Вашего роботса непубличные папки, которые размещать там - только лишний повод для кулхацкеров ))

  • Upvote 1
Link to comment
Share on other sites
wick Newbie

wick

Posted
Posted

может ли быть связано падение трафика на форуме с установкой этого роботса? так как на следующий день как заменил его, гугл подстриг сразу количество страниц на 60 000 , понимаю что эту дубли уехали, но трафик в среднем упал на эти три дня после внесения изменений упал значительно )

Link to comment
Share on other sites
siv1987 Newbie

siv1987

Posted
Posted

Теоретически может, так как те дубли которые были в индексе и приносили траффик уехали, и пс нужно определить новый канонический адрес этому контенту. Но со временем, если причина связана с роботс, трафик должен нормализоваться. Кроме того, за один день бот физически не может исключить столько страниц, это происходит месяцами.

Link to comment
Share on other sites
wick Newbie

wick

Posted
Posted

Теоретически может, так как те дубли которые были в индексе и приносили траффик уехали, и пс нужно определить новый канонический адрес этому контенту. Но со временем, если причина связана с роботс, трафик должен нормализоваться. Кроме того, за один день бот физически не может исключить столько страниц, это происходит месяцами.

ну вот сам не понял что произошло ) почему так быстро ) , ну будем ждать, когда трафик обратно вернётся ))

 

ПС. извините что не в тему, сейчас вот только обратил внимание, здесь в редакторе работает словарь орфографии, ошибки подсвечивает, у меня он не работает почему то )) Если не сложно пульните ссылкой как это исправить. Спасибо!

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share
Go to topic listing

  • Recently Browsing   0 members

    • No registered users viewing this page.
×
×
  • Create New...