Как закрыть от индексации профили?

[Alex222 1]

Всем привет! Подскажите, как правильно в файле robots.txt закрыть профили пользователей от индексации всеми поисковиками? Дело в том, что перерыл весь инет, везде по разному и пробовал ставить как рекомендуют, но при проверке через онлайн сервис на индексацию профиля выходит сообщение такого вида: Ссылка «http://site.ru/user/1-alex/» найдена на странице «site.ru» и доступна для индексации поисковыми роботами.

В файле robots.txt у меня так:

Disallow: /index.php/user/

до этого было просто так:

Disallow: /user/

Как на самом деле долно быть?

Ссылка на профили такого вида: http://site.ru/user/656-river/

Изменено 4 июля 2016 пользователем Alex222

[Атаман 463]

У вас все правильно настроено.

скорее всего сайт еще не переиндексирован.

[Alex222 1]

Понял, спасибо за ответ!

[Alex222 1]

Сейчас попробовал через вебмастер яндекса проверить индексацию. Пробно взял урлы пары профилей, попробовал проверить, выходит тоже "Разрешён" к индексации.

[Атаман 463]

Нужна переиндексация, у яндекса она не мгновенная. А проверку вроде делает со старых показаний.

Целиком путь на ваш робот предоставьте.

[Alex222 1]

Ещё раз понял, спасибо! Буду надеяться, что это так.

[siv1987 2628]

Как на самом деле долно быть?

Ссылка на профили такого вида:

Для такого формата запрет на индексацию ссылки должен выглядеть как было "до этого"

Disallow: /user/

[Alex222 1]

Хорошо, спасибо, сейчас переделаю.

Скажите, а вот остальное, ниже пример, тоже получается по аналогии /index.php убирать?

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Изменено 4 июля 2016 пользователем Alex222

[Alex222 1]

Да, уже сам понял. Проверил через вебмастер, всё теперь не индексируется. Спасибо, вопрос снят!

[Alex222 1]

Пардон, ещё вопрос один образовался. А вот такого вида (ниже) как будет правильно? Вроде по аналогии также /index.php убрать, но боюсь что может не правильно быть. Как подобная закрывашка будет выглядеть для моего формата ссылок?

Disallow: /index.php?app=forums&module=moderate&section=moderate

и вот это /*app=core&module=usercp

 

Или выложу вот полностью как выглядит. Боюсь, что много чего не правильно закрыто. Помогите правильно закрыть от индексации. Некоторое закрыл по вашей подсказке, а вот остальное... Дело в том, что в анализаторе htool раньше выдовало 10% заспенность ссылками и 15% Вероятность фильтра

на исх. ссылки (beta). Потом несколько дней назад начало выдавать 0% заспеменость ссылками, но зато появилось чего раньше небыло,такая инфо "Некачественные исходящие ссылки, Непот" и "Вероятность фильтра

на исх. ссылки (beta):" 50%, вот я и решил перетрясти файл robots.txt

 

User-agent: *
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Disallow: /user/
Disallow: /members/
Disallow: /calendar/
Disallow: /register/
Disallow: /lostpass/
Disallow: /login/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Изменено 4 июля 2016 пользователем Alex222

[siv1987 2628]

Это не чпу ссылки, а значит убирать index.php не нужно.

[Alex222 1]

Понятно, спасибо!