Jump to content
Дизайн и модификация IPS Community IPBSkinsBETA
Search In
  • More options...
Find results that contain...
Find results in...
Sign in to follow this  
Alex222

Правильный ли файл robots.txt ?

Recommended Posts

Привет всем!

Подскажите пожалуйста, правильный ли этот файл robots.txt ? Я его поставил и не знаю, всё ли там правильно.

 

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Share this post


Link to post
Share on other sites

Стандартный. Не хватает только)

 

После - Disallow: /*&section=dname

 

Disallow: /user/

Disallow: /members/

Disallow: /calendar/

Disallow: /register/

Disallow: /lostpass/

Disallow: /login/

Disallow: /index.php/user/

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Disallow: /index.php?/user/

Disallow: /index.php?/members/

Disallow: /index.php?/calendar/

Disallow: /index.php?/register/

Disallow: /index.php?/lostpass/

Disallow: /index.php?/login/

  • Upvote 1

Share this post


Link to post
Share on other sites

Спасибо! Только не понял, чего не хватает?

 

После - Disallow: /*&section=dname

 

И что после, тоже не понял?

Share this post


Link to post
Share on other sites

Кажется я понял вас, то есть должно быть так, верно? :

 

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

Disallow: /user/

Disallow: /members/

Disallow: /calendar/

Disallow: /register/

Disallow: /lostpass/

Disallow: /login/

Disallow: /index.php/user/

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Disallow: /index.php?/user/

Disallow: /index.php?/members/

Disallow: /index.php?/calendar/

Disallow: /index.php?/register/

Disallow: /index.php?/lostpass/

Disallow: /index.php?/login/

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Share this post


Link to post
Share on other sites

Только ответьте пожалуйста, так правильно будет?

И ещё важный момент для меня. Если я переименую папку - admin , то её ещё где то нужно переименовывать? Я знаю, что на некоторых движках сайтов нужно переименовывать ещё в АЦ. А здесь с этим как?

И попутно ещё вопрос. Если убрать с файла robots.txt папку admin, то значит она будет индексироваться? Тогда возникает вопрос, если папку admin запретить в robots.txt, смысл её переименовывать? Я в том смысле, что она будет доступна понимающм людям. Может кто пояснит, верно думаю или нет?

Share this post


Link to post
Share on other sites

У каждого индивидуально, уже не раз обсуждалось (Поиском воспользуйтесь), как составлять robots.txt (Вы дописали в конце запрет индексации пользователей- календаря - регистрации - восстановлении пароля и тд). теперь остается (оно Вам нужно или нет?), вдруг у Вас вообще просмотр профиля отключен, так-же касается модулей.

 

 

И ещё важный момент для меня. Если я переименую папку - admin , то её ещё где то нужно переименовывать? Я знаю, что на некоторых движках сайтов нужно переименовывать ещё в АЦ. А здесь с этим как?

И попутно ещё вопрос. Если убрать с файла robots.txt папку admin, то значит она будет индексироваться? Тогда возникает вопрос, если папку admin запретить в robots.txt, смысл её переименовывать? Я в том смысле, что она будет доступна понимающм людям. Может кто пояснит, верно думаю или нет?

 

- Переименовывайте, и в роботе тоже поменяйте.

- Если убрать с файла robots.txt - Ее уведет поисковик, проиндексирует толmrj систему входа и все, а не внутренность. (если честно видел форумы у которых роботов нету, но админ центр не попадает в поле зрения).

Share this post


Link to post
Share on other sites
У каждого индивидуально, уже не раз обсуждалось (Поиском воспользуйтесь), как составлять robots.txt (Вы дописали в конце запрет индексации пользователей- календаря - регистрации - восстановлении пароля и тд). теперь остается (оно Вам нужно или нет?), вдруг у Вас вообще просмотр профиля отключен, так-же касается модулей.

 

Я как бы понимаю, что индивидуален. Просто боюсь глупостей наделать. По сути, как и всем, мне не нужны дубли, а главное, чтобы индексировалась Главная страница, все страницы и темы, сообщения форума, кроме закрытых разделов и всё. Надеюсь этот robots соответствует этому?

 

- Переименовывайте, и в роботе тоже поменяйте.

- Если убрать с файла robots.txt - Ее уведет поисковик, проиндексирует толmrj систему входа и все, а не внутренность. (если честно видел форумы у которых роботов нету, но админ центр не попадает в поле зрения).

 

Я так понимаю, в АЦ не нужно переименовывать или точнее там нет этого?

По поводу того, чтобы папку admin убрать с robots.txt я не случайно спросил. На одном seo-форуме, некоторое время назад по моему другому сайту говорил один чел, что, если убрать папку admin, он всё равно не будет индексироваться, поэтому я спросил на всякий случай у вас.

Edited by Alex222

Share this post


Link to post
Share on other sites

Если сомневаешься лучше вообще удали роботс потому что можешь случайно вообще весь сайт закрыть

  • Upvote 1

Share this post


Link to post
Share on other sites

выложу и свой, может тоже наделал каких то ошибок в нём?

 

User-agent: *
Disallow: /admin/
Disallow: /webstat/
Disallow: /cgi-bin/
Disallow: /go/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /baners/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /members
Disallow: /calendar
Disallow: /user
Disallow: /conf_global.php
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*&module=search
Allow:	  /*&search_tags=
Disallow: /*?app=calendar
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Edited by wick

Share this post


Link to post
Share on other sites

подскажите правильно ли я всё сделал?:)) а то яндекс переполовинил почему то страницы в индексе

Share this post


Link to post
Share on other sites

@wick, я немного переделал Ваш роботс. Поставьте такой вариант:

 

User-agent: *
Disallow: /webstat/
Disallow: /go/
Disallow: /baners/
Disallow: /public/style_captcha/
Disallow: /members
Disallow: /calendar
Disallow: /user
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*&module=search
Allow:    /*&search_tags=
Disallow: /*?app=calendar
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

 

Я не добавлял ничего нового, только убрал из Вашего роботса непубличные папки, которые размещать там - только лишний повод для кулхацкеров ))

  • Upvote 1

Share this post


Link to post
Share on other sites

Спасибо, заменил

Share this post


Link to post
Share on other sites

может ли быть связано падение трафика на форуме с установкой этого роботса? так как на следующий день как заменил его, гугл подстриг сразу количество страниц на 60 000 , понимаю что эту дубли уехали, но трафик в среднем упал на эти три дня после внесения изменений упал значительно )

Share this post


Link to post
Share on other sites

Теоретически может, так как те дубли которые были в индексе и приносили траффик уехали, и пс нужно определить новый канонический адрес этому контенту. Но со временем, если причина связана с роботс, трафик должен нормализоваться. Кроме того, за один день бот физически не может исключить столько страниц, это происходит месяцами.

Share this post


Link to post
Share on other sites

Теоретически может, так как те дубли которые были в индексе и приносили траффик уехали, и пс нужно определить новый канонический адрес этому контенту. Но со временем, если причина связана с роботс, трафик должен нормализоваться. Кроме того, за один день бот физически не может исключить столько страниц, это происходит месяцами.

ну вот сам не понял что произошло ) почему так быстро ) , ну будем ждать, когда трафик обратно вернётся ))

 

ПС. извините что не в тему, сейчас вот только обратил внимание, здесь в редакторе работает словарь орфографии, ошибки подсвечивает, у меня он не работает почему то )) Если не сложно пульните ссылкой как это исправить. Спасибо!

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...