Привет всем!

Подскажите пожалуйста, правильный ли этот файл robots.txt ? Я его поставил и не знаю, всё ли там правильно.

 

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /converge_local/

Disallow: /hooks/

Disallow: /ips_kernel/

Disallow: /retail/

Disallow: /public/style_captcha/

Disallow: /index.php?app=core&module=task

Disallow: /index.php?app=forums&module=moderate&section=moderate

Disallow: /index.php?app=forums&module=extras&section=forward

Disallow: /index.php?app=members&module=messaging

Disallow: /index.php?app=members&module=chat

Disallow: /index.php?app=members&module=search

Disallow: /index.php?app=members&module=search&do=active

Disallow: /index.php?&unlockUserAgent=1

Disallow: /*app=core&module=global&section=reputation

Disallow: /*app=core&module=usercp

Disallow: /*app=core&module=usercp

Disallow: /*app=members&module=messaging

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*view__getnewpost$

Disallow: /*view__getlastpost$

Disallow: /*view__old$

Disallow: /*view__new$

Disallow: /*view__getfirst$

Disallow: /*view__getprevious$

Disallow: /*view__getnext$

Disallow: /*view__getlast$

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*?s=

Disallow: /*&s=

Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /index.php?app=forums&module=extras&section=rating

Disallow: /index.php?app=forums&module=forums&section=markasread

Disallow: /*&do=who

Disallow: /*&section=dname

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Сгенерировал при помощи сайта cy-pr.com

Сервисы могут генерировать какие-то запреты в роботс только на основе используемой кмс. Либо сервис не смог определить какой движок используется (или отсутствует информация о нем), либо он просто не генерирует запреты.

Для 3.x robots поставляется вместе с дистрибутивом форума.

от сайта зависит это, ведь структура не у всех одинаковая, а в роботс вы закрываете ненужные для индексации файлы, кому-то нужно закрыть одни а кому-то другие, конечно есть некоторые общие, но этого не достаточно нужно смотреть индивидуально на сайт

О, может и мой роботс рассмотрите?)

 

User-agent: *

Allow: /

Disallow: /admin/

 

Sitemap: https://suntown-ukraine.com/sitemap.xml

 

Я посмотрел на ваших роботов, и если честно не совсем понимаю зачем так много всего указывать?

как я понимаю поисковые роботы индексируют всё что есть на сервере в сайте, если у меня в связи с тем что я не кодер, нету доступа к серверной части сайта, то получается я и не смогу указать ничего более подробно? Или есть какие-то стандартные правила составления всех robots.txt?