Перейти к содержимому
Русский язык для Invision Community 5

Правильный ли файл robots.txt ?

Привет всем!

Подскажите пожалуйста, правильный ли этот файл robots.txt ? Я его поставил и не знаю, всё ли там правильно.

 

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Рекомендованные сообщения

Стандартный. Не хватает только)

 

После - Disallow: /*&section=dname

 

Disallow: /user/

Disallow: /members/

Disallow: /calendar/

Disallow: /register/

Disallow: /lostpass/

Disallow: /login/

Disallow: /index.php/user/

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Disallow: /index.php?/user/

Disallow: /index.php?/members/

Disallow: /index.php?/calendar/

Disallow: /index.php?/register/

Disallow: /index.php?/lostpass/

Disallow: /index.php?/login/

    •
    • Upvote 1
    • Автор

    Спасибо! Только не понял, чего не хватает?

     

    После - Disallow: /*&section=dname

     

    И что после, тоже не понял?

    • Автор

    Кажется я понял вас, то есть должно быть так, верно? :

     

    User-agent: *

    Disallow: /admin/

    Disallow: /cache/

    Disallow: /converge_local/

    Disallow: /hooks/

    Disallow: /ips_kernel/

    Disallow: /retail/

    Disallow: /public/style_captcha/

    Disallow: /index.php?app=core&module=task

    Disallow: /index.php?app=forums&module=moderate&section=moderate

    Disallow: /index.php?app=forums&module=extras&section=forward

    Disallow: /index.php?app=members&module=messaging

    Disallow: /index.php?app=members&module=chat

    Disallow: /index.php?app=members&module=search

    Disallow: /index.php?app=members&module=search&do=active

    Disallow: /index.php?&unlockUserAgent=1

    Disallow: /*app=core&module=global&section=reputation

    Disallow: /*app=core&module=usercp

    Disallow: /*app=core&module=usercp

    Disallow: /*app=members&module=messaging

    Disallow: /*&p=

    Disallow: /*&pid=

    Disallow: /*&hl=

    Disallow: /*&start=

    Disallow: /*view__getnewpost$

    Disallow: /*view__getlastpost$

    Disallow: /*view__old$

    Disallow: /*view__new$

    Disallow: /*view__getfirst$

    Disallow: /*view__getprevious$

    Disallow: /*view__getnext$

    Disallow: /*view__getlast$

    Disallow: /*&view=getnewpost$

    Disallow: /*&view=getlastpost$

    Disallow: /*&view=old$

    Disallow: /*&view=new$

    Disallow: /*&view=getfirst$

    Disallow: /*&view=getprevious$

    Disallow: /*&view=getnext$

    Disallow: /*&view=getlast$

    Disallow: /*?s=

    Disallow: /*&s=

    Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

    Disallow: /index.php?app=forums&module=extras&section=rating

    Disallow: /index.php?app=forums&module=forums&section=markasread

    Disallow: /*&do=who

    Disallow: /*&section=dname

    Disallow: /user/

    Disallow: /members/

    Disallow: /calendar/

    Disallow: /register/

    Disallow: /lostpass/

    Disallow: /login/

    Disallow: /index.php/user/

    Disallow: /index.php/members/

    Disallow: /index.php/calendar/

    Disallow: /index.php/register/

    Disallow: /index.php/lostpass/

    Disallow: /index.php/login/

    Disallow: /index.php?/user/

    Disallow: /index.php?/members/

    Disallow: /index.php?/calendar/

    Disallow: /index.php?/register/

    Disallow: /index.php?/lostpass/

    Disallow: /index.php?/login/

    Host: site.ru

    Sitemap: http://site.ru/sitemap.xml

    • Автор

    Только ответьте пожалуйста, так правильно будет?

    И ещё важный момент для меня. Если я переименую папку - admin , то её ещё где то нужно переименовывать? Я знаю, что на некоторых движках сайтов нужно переименовывать ещё в АЦ. А здесь с этим как?

    И попутно ещё вопрос. Если убрать с файла robots.txt папку admin, то значит она будет индексироваться? Тогда возникает вопрос, если папку admin запретить в robots.txt, смысл её переименовывать? Я в том смысле, что она будет доступна понимающм людям. Может кто пояснит, верно думаю или нет?

    У каждого индивидуально, уже не раз обсуждалось (Поиском воспользуйтесь), как составлять robots.txt (Вы дописали в конце запрет индексации пользователей- календаря - регистрации - восстановлении пароля и тд). теперь остается (оно Вам нужно или нет?), вдруг у Вас вообще просмотр профиля отключен, так-же касается модулей.

     

     

    И ещё важный момент для меня. Если я переименую папку - admin , то её ещё где то нужно переименовывать? Я знаю, что на некоторых движках сайтов нужно переименовывать ещё в АЦ. А здесь с этим как?

    И попутно ещё вопрос. Если убрать с файла robots.txt папку admin, то значит она будет индексироваться? Тогда возникает вопрос, если папку admin запретить в robots.txt, смысл её переименовывать? Я в том смысле, что она будет доступна понимающм людям. Может кто пояснит, верно думаю или нет?

     

    - Переименовывайте, и в роботе тоже поменяйте.

    - Если убрать с файла robots.txt - Ее уведет поисковик, проиндексирует толmrj систему входа и все, а не внутренность. (если честно видел форумы у которых роботов нету, но админ центр не попадает в поле зрения).

    • Автор
    У каждого индивидуально, уже не раз обсуждалось (Поиском воспользуйтесь), как составлять robots.txt (Вы дописали в конце запрет индексации пользователей- календаря - регистрации - восстановлении пароля и тд). теперь остается (оно Вам нужно или нет?), вдруг у Вас вообще просмотр профиля отключен, так-же касается модулей.

     

    Я как бы понимаю, что индивидуален. Просто боюсь глупостей наделать. По сути, как и всем, мне не нужны дубли, а главное, чтобы индексировалась Главная страница, все страницы и темы, сообщения форума, кроме закрытых разделов и всё. Надеюсь этот robots соответствует этому?

     

    - Переименовывайте, и в роботе тоже поменяйте.

    - Если убрать с файла robots.txt - Ее уведет поисковик, проиндексирует толmrj систему входа и все, а не внутренность. (если честно видел форумы у которых роботов нету, но админ центр не попадает в поле зрения).

     

    Я так понимаю, в АЦ не нужно переименовывать или точнее там нет этого?

    По поводу того, чтобы папку admin убрать с robots.txt я не случайно спросил. На одном seo-форуме, некоторое время назад по моему другому сайту говорил один чел, что, если убрать папку admin, он всё равно не будет индексироваться, поэтому я спросил на всякий случай у вас.

    Изменено пользователем Alex222

    • 1 месяц спустя...

    Если сомневаешься лучше вообще удали роботс потому что можешь случайно вообще весь сайт закрыть

    •
    • Upvote 1
    • 4 месяца спустя...

    выложу и свой, может тоже наделал каких то ошибок в нём?

     

    User-agent: *
Disallow: /admin/
Disallow: /webstat/
Disallow: /cgi-bin/
Disallow: /go/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /baners/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /members
Disallow: /calendar
Disallow: /user
Disallow: /conf_global.php
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*&module=search
Allow:	  /*&search_tags=
Disallow: /*?app=calendar
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

    Изменено пользователем wick

    подскажите правильно ли я всё сделал?:)) а то яндекс переполовинил почему то страницы в индексе

    @wick, я немного переделал Ваш роботс. Поставьте такой вариант:

     

    User-agent: *
Disallow: /webstat/
Disallow: /go/
Disallow: /baners/
Disallow: /public/style_captcha/
Disallow: /members
Disallow: /calendar
Disallow: /user
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*&module=search
Allow:    /*&search_tags=
Disallow: /*?app=calendar
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

     

    Я не добавлял ничего нового, только убрал из Вашего роботса непубличные папки, которые размещать там - только лишний повод для кулхацкеров ))

    •
    • Upvote 1

    Спасибо, заменил

    может ли быть связано падение трафика на форуме с установкой этого роботса? так как на следующий день как заменил его, гугл подстриг сразу количество страниц на 60 000 , понимаю что эту дубли уехали, но трафик в среднем упал на эти три дня после внесения изменений упал значительно )

    Теоретически может, так как те дубли которые были в индексе и приносили траффик уехали, и пс нужно определить новый канонический адрес этому контенту. Но со временем, если причина связана с роботс, трафик должен нормализоваться. Кроме того, за один день бот физически не может исключить столько страниц, это происходит месяцами.

    Теоретически может, так как те дубли которые были в индексе и приносили траффик уехали, и пс нужно определить новый канонический адрес этому контенту. Но со временем, если причина связана с роботс, трафик должен нормализоваться. Кроме того, за один день бот физически не может исключить столько страниц, это происходит месяцами.

    ну вот сам не понял что произошло ) почему так быстро ) , ну будем ждать, когда трафик обратно вернётся ))

     

    ПС. извините что не в тему, сейчас вот только обратил внимание, здесь в редакторе работает словарь орфографии, ошибки подсвечивает, у меня он не работает почему то )) Если не сложно пульните ссылкой как это исправить. Спасибо!

    • 1 год спустя...

    Сгенерировал при помощи сайта cy-pr.com robots.txt для своего форума, почему он получился такой маленький? Что не правильно делаю подскажите пожалуйста?

     

    User-agent: *

    Crawl-delay: 1

    Host: investmani.ru

    Sitemap: http://investmani.ru/sitemap.xml

    Создайте аккаунт или войдите в него для комментирования

    Перейти к списку тем

    Важная информация

    При использовании данного сайта, вы согласаетесь с Условия использования и Чтобы сделать этот веб-сайт лучше, мы разместили cookies на вашем устройстве. Вы можете изменить свои настройки cookies, в противном случае мы будем считать, что вы согласны с этим..

    Аккаунт

    Навигация

    Поиск

    Поиск

    Настроить push-уведомления браузера
    Chrome (Android)
    1. Нажмите на иконку замка рядом с адресной строкой.
    2. Нажмите Права доступа -> Уведомления.
    3. Измените свои настройки.
    Chrome (компьютер)
    1. Нажмите на иконку замка в адресной строке.
    2. Выберите Настройки сайта.
    3. Найдите Уведомления и измените свои настройки.