Jump to content
Дизайн и модификация IPS Community IPBSkinsBETA
Search In
  • More options...
Find results that contain...
Find results in...
Sign in to follow this  
Alex222

Как закрыть от индексации профили?

Recommended Posts

Всем привет! Подскажите, как правильно в файле robots.txt закрыть профили пользователей от индексации всеми поисковиками? Дело в том, что перерыл весь инет, везде по разному и пробовал ставить как рекомендуют, но при проверке через онлайн сервис на индексацию профиля выходит сообщение такого вида: Ссылка «http://site.ru/user/1-alex/» найдена на странице «site.ru» и доступна для индексации поисковыми роботами.

В файле robots.txt у меня так:

Disallow: /index.php/user/

до этого было просто так:

Disallow: /user/

Как на самом деле долно быть?

Ссылка на профили такого вида: http://site.ru/user/656-river/

Edited by Alex222

Share this post


Link to post
Share on other sites

У вас все правильно настроено.

скорее всего сайт еще не переиндексирован.

  • Upvote 1

Share this post


Link to post
Share on other sites

Понял, спасибо за ответ!

Share this post


Link to post
Share on other sites

Сейчас попробовал через вебмастер яндекса проверить индексацию. Пробно взял урлы пары профилей, попробовал проверить, выходит тоже "Разрешён" к индексации.

Share this post


Link to post
Share on other sites

Нужна переиндексация, у яндекса она не мгновенная. А проверку вроде делает со старых показаний.

Целиком путь на ваш робот предоставьте.

  • Upvote 1

Share this post


Link to post
Share on other sites

Ещё раз понял, спасибо! Буду надеяться, что это так.

Share this post


Link to post
Share on other sites
Как на самом деле долно быть?

Ссылка на профили такого вида:

Для такого формата запрет на индексацию ссылки должен выглядеть как было "до этого"

Disallow: /user/

  • Upvote 1

Share this post


Link to post
Share on other sites

Хорошо, спасибо, сейчас переделаю.

Скажите, а вот остальное, ниже пример, тоже получается по аналогии /index.php убирать?

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Edited by Alex222

Share this post


Link to post
Share on other sites

Да, уже сам понял. Проверил через вебмастер, всё теперь не индексируется. Спасибо, вопрос снят!

Share this post


Link to post
Share on other sites

Пардон, ещё вопрос один образовался. А вот такого вида (ниже) как будет правильно? Вроде по аналогии также /index.php убрать, но боюсь что может не правильно быть. Как подобная закрывашка будет выглядеть для моего формата ссылок?

Disallow: /index.php?app=forums&module=moderate&section=moderate

и вот это /*app=core&module=usercp

 

Или выложу вот полностью как выглядит. Боюсь, что много чего не правильно закрыто. Помогите правильно закрыть от индексации. Некоторое закрыл по вашей подсказке, а вот остальное... Дело в том, что в анализаторе htool раньше выдовало 10% заспенность ссылками и 15% Вероятность фильтра

на исх. ссылки (beta). Потом несколько дней назад начало выдавать 0% заспеменость ссылками, но зато появилось чего раньше небыло,такая инфо "Некачественные исходящие ссылки, Непот" и "Вероятность фильтра

на исх. ссылки (beta):" 50%, вот я и решил перетрясти файл robots.txt

 

User-agent: *
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Disallow: /user/
Disallow: /members/
Disallow: /calendar/
Disallow: /register/
Disallow: /lostpass/
Disallow: /login/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Edited by Alex222

Share this post


Link to post
Share on other sites

Это не чпу ссылки, а значит убирать index.php не нужно.

  • Upvote 1

Share this post


Link to post
Share on other sites

Понятно, спасибо!

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...