Alex222 1 09/16/14 03:52 Привет всем!Подскажите пожалуйста, правильный ли этот файл robots.txt ? Я его поставил и не знаю, всё ли там правильно. User-agent: *Disallow: /admin/Disallow: /cache/Disallow: /converge_local/Disallow: /hooks/Disallow: /ips_kernel/Disallow: /retail/Disallow: /public/style_captcha/Disallow: /index.php?app=core&module=taskDisallow: /index.php?app=forums&module=moderate§ion=moderateDisallow: /index.php?app=forums&module=extras§ion=forwardDisallow: /index.php?app=members&module=messagingDisallow: /index.php?app=members&module=chatDisallow: /index.php?app=members&module=searchDisallow: /index.php?app=members&module=search&do=activeDisallow: /index.php?&unlockUserAgent=1Disallow: /*app=core&module=global§ion=reputationDisallow: /*app=core&module=usercpDisallow: /*app=core&module=usercpDisallow: /*app=members&module=messagingDisallow: /*&p=Disallow: /*&pid=Disallow: /*&hl=Disallow: /*&start=Disallow: /*view__getnewpost$Disallow: /*view__getlastpost$Disallow: /*view__old$Disallow: /*view__new$Disallow: /*view__getfirst$Disallow: /*view__getprevious$Disallow: /*view__getnext$Disallow: /*view__getlast$Disallow: /*&view=getnewpost$Disallow: /*&view=getlastpost$Disallow: /*&view=old$Disallow: /*&view=new$Disallow: /*&view=getfirst$Disallow: /*&view=getprevious$Disallow: /*&view=getnext$Disallow: /*&view=getlast$Disallow: /*?s=Disallow: /*&s=Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookiesDisallow: /index.php?app=forums&module=extras§ion=ratingDisallow: /index.php?app=forums&module=forums§ion=markasreadDisallow: /*&do=whoDisallow: /*§ion=dnameHost: site.ruSitemap: http://site.ru/sitemap.xml Поделиться сообщением Ссылка на сообщение
Атаман 460 09/16/14 05:06 Стандартный. Не хватает только) После - Disallow: /*§ion=dname Disallow: /user/Disallow: /members/Disallow: /calendar/Disallow: /register/Disallow: /lostpass/Disallow: /login/Disallow: /index.php/user/Disallow: /index.php/members/Disallow: /index.php/calendar/Disallow: /index.php/register/Disallow: /index.php/lostpass/Disallow: /index.php/login/Disallow: /index.php?/user/Disallow: /index.php?/members/Disallow: /index.php?/calendar/Disallow: /index.php?/register/Disallow: /index.php?/lostpass/Disallow: /index.php?/login/ 1 Поделиться сообщением Ссылка на сообщение
Alex222 1 09/16/14 05:13 Спасибо! Только не понял, чего не хватает? После - Disallow: /*§ion=dname И что после, тоже не понял? Поделиться сообщением Ссылка на сообщение
Alex222 1 09/16/14 05:52 Кажется я понял вас, то есть должно быть так, верно? : User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/style_captcha/ Disallow: /index.php?app=core&module=task Disallow: /index.php?app=forums&module=moderate§ion=moderate Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=messaging Disallow: /index.php?app=members&module=chat Disallow: /index.php?app=members&module=search Disallow: /index.php?app=members&module=search&do=active Disallow: /index.php?&unlockUserAgent=1 Disallow: /*app=core&module=global§ion=reputation Disallow: /*app=core&module=usercp Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*?s= Disallow: /*&s= Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /index.php?app=forums&module=extras§ion=rating Disallow: /index.php?app=forums&module=forums§ion=markasread Disallow: /*&do=who Disallow: /*§ion=dname Disallow: /user/ Disallow: /members/ Disallow: /calendar/ Disallow: /register/ Disallow: /lostpass/ Disallow: /login/ Disallow: /index.php/user/ Disallow: /index.php/members/ Disallow: /index.php/calendar/ Disallow: /index.php/register/ Disallow: /index.php/lostpass/ Disallow: /index.php/login/ Disallow: /index.php?/user/ Disallow: /index.php?/members/ Disallow: /index.php?/calendar/ Disallow: /index.php?/register/ Disallow: /index.php?/lostpass/ Disallow: /index.php?/login/ Host: site.ru Sitemap: http://site.ru/sitemap.xml Поделиться сообщением Ссылка на сообщение
Alex222 1 09/16/14 06:04 Только ответьте пожалуйста, так правильно будет?И ещё важный момент для меня. Если я переименую папку - admin , то её ещё где то нужно переименовывать? Я знаю, что на некоторых движках сайтов нужно переименовывать ещё в АЦ. А здесь с этим как?И попутно ещё вопрос. Если убрать с файла robots.txt папку admin, то значит она будет индексироваться? Тогда возникает вопрос, если папку admin запретить в robots.txt, смысл её переименовывать? Я в том смысле, что она будет доступна понимающм людям. Может кто пояснит, верно думаю или нет? Поделиться сообщением Ссылка на сообщение
Атаман 460 09/16/14 06:24 У каждого индивидуально, уже не раз обсуждалось (Поиском воспользуйтесь), как составлять robots.txt (Вы дописали в конце запрет индексации пользователей- календаря - регистрации - восстановлении пароля и тд). теперь остается (оно Вам нужно или нет?), вдруг у Вас вообще просмотр профиля отключен, так-же касается модулей. И ещё важный момент для меня. Если я переименую папку - admin , то её ещё где то нужно переименовывать? Я знаю, что на некоторых движках сайтов нужно переименовывать ещё в АЦ. А здесь с этим как?И попутно ещё вопрос. Если убрать с файла robots.txt папку admin, то значит она будет индексироваться? Тогда возникает вопрос, если папку admin запретить в robots.txt, смысл её переименовывать? Я в том смысле, что она будет доступна понимающм людям. Может кто пояснит, верно думаю или нет? - Переименовывайте, и в роботе тоже поменяйте. - Если убрать с файла robots.txt - Ее уведет поисковик, проиндексирует толmrj систему входа и все, а не внутренность. (если честно видел форумы у которых роботов нету, но админ центр не попадает в поле зрения). Поделиться сообщением Ссылка на сообщение
Alex222 1 09/16/14 06:34 (изменено) У каждого индивидуально, уже не раз обсуждалось (Поиском воспользуйтесь), как составлять robots.txt (Вы дописали в конце запрет индексации пользователей- календаря - регистрации - восстановлении пароля и тд). теперь остается (оно Вам нужно или нет?), вдруг у Вас вообще просмотр профиля отключен, так-же касается модулей. Я как бы понимаю, что индивидуален. Просто боюсь глупостей наделать. По сути, как и всем, мне не нужны дубли, а главное, чтобы индексировалась Главная страница, все страницы и темы, сообщения форума, кроме закрытых разделов и всё. Надеюсь этот robots соответствует этому? - Переименовывайте, и в роботе тоже поменяйте. - Если убрать с файла robots.txt - Ее уведет поисковик, проиндексирует толmrj систему входа и все, а не внутренность. (если честно видел форумы у которых роботов нету, но админ центр не попадает в поле зрения). Я так понимаю, в АЦ не нужно переименовывать или точнее там нет этого?По поводу того, чтобы папку admin убрать с robots.txt я не случайно спросил. На одном seo-форуме, некоторое время назад по моему другому сайту говорил один чел, что, если убрать папку admin, он всё равно не будет индексироваться, поэтому я спросил на всякий случай у вас. Изменено 16 сентября 2014 пользователем Alex222 Поделиться сообщением Ссылка на сообщение
koval0312 1 11/12/14 12:39 Если сомневаешься лучше вообще удали роботс потому что можешь случайно вообще весь сайт закрыть 1 Поделиться сообщением Ссылка на сообщение
wick 2 03/19/15 14:29 (изменено) выложу и свой, может тоже наделал каких то ошибок в нём? User-agent: * Disallow: /admin/ Disallow: /webstat/ Disallow: /cgi-bin/ Disallow: /go/ Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /baners/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/style_captcha/ Disallow: /members Disallow: /calendar Disallow: /user Disallow: /conf_global.php Disallow: /index.php?app=core&module=task Disallow: /index.php?app=forums&module=moderate§ion=moderate Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=chat Disallow: /index.php?&unlockUserAgent=1 Disallow: /*&module=search Allow: /*&search_tags= Disallow: /*?app=calendar Disallow: /*app=core&module=global§ion=reputation Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*?s= Disallow: /*&s= Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /index.php?app=forums&module=extras§ion=rating Disallow: /index.php?app=forums&module=forums§ion=markasread Disallow: /*&do=who Disallow: /*§ion=dname Host: site.ru Sitemap: http://site.ru/sitemap.xml Изменено 19 марта 2015 пользователем wick Поделиться сообщением Ссылка на сообщение
wick 2 03/20/15 15:23 подскажите правильно ли я всё сделал?:)) а то яндекс переполовинил почему то страницы в индексе Поделиться сообщением Ссылка на сообщение
Одмин 42 03/21/15 08:17 @wick, я немного переделал Ваш роботс. Поставьте такой вариант: User-agent: * Disallow: /webstat/ Disallow: /go/ Disallow: /baners/ Disallow: /public/style_captcha/ Disallow: /members Disallow: /calendar Disallow: /user Disallow: /index.php?app=core&module=task Disallow: /index.php?app=forums&module=moderate§ion=moderate Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=chat Disallow: /index.php?&unlockUserAgent=1 Disallow: /*&module=search Allow: /*&search_tags= Disallow: /*?app=calendar Disallow: /*app=core&module=global§ion=reputation Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*?s= Disallow: /*&s= Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /index.php?app=forums&module=extras§ion=rating Disallow: /index.php?app=forums&module=forums§ion=markasread Disallow: /*&do=who Disallow: /*§ion=dname Host: site.ru Sitemap: http://site.ru/sitemap.xml Я не добавлял ничего нового, только убрал из Вашего роботса непубличные папки, которые размещать там - только лишний повод для кулхацкеров )) 1 Поделиться сообщением Ссылка на сообщение
wick 2 03/23/15 17:54 может ли быть связано падение трафика на форуме с установкой этого роботса? так как на следующий день как заменил его, гугл подстриг сразу количество страниц на 60 000 , понимаю что эту дубли уехали, но трафик в среднем упал на эти три дня после внесения изменений упал значительно ) Поделиться сообщением Ссылка на сообщение
siv1987 2627 03/23/15 18:03 Теоретически может, так как те дубли которые были в индексе и приносили траффик уехали, и пс нужно определить новый канонический адрес этому контенту. Но со временем, если причина связана с роботс, трафик должен нормализоваться. Кроме того, за один день бот физически не может исключить столько страниц, это происходит месяцами. Поделиться сообщением Ссылка на сообщение
wick 2 03/23/15 18:28 Теоретически может, так как те дубли которые были в индексе и приносили траффик уехали, и пс нужно определить новый канонический адрес этому контенту. Но со временем, если причина связана с роботс, трафик должен нормализоваться. Кроме того, за один день бот физически не может исключить столько страниц, это происходит месяцами.ну вот сам не понял что произошло ) почему так быстро ) , ну будем ждать, когда трафик обратно вернётся )) ПС. извините что не в тему, сейчас вот только обратил внимание, здесь в редакторе работает словарь орфографии, ошибки подсвечивает, у меня он не работает почему то )) Если не сложно пульните ссылкой как это исправить. Спасибо! Поделиться сообщением Ссылка на сообщение