Перейти к публикации
Дизайн и модификация IPS Community IPBSkinsBETA
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...
Alex222

Как закрыть от индексации профили?

Рекомендованные сообщения

07/04/16 09:47 (изменено)

Всем привет! Подскажите, как правильно в файле robots.txt закрыть профили пользователей от индексации всеми поисковиками? Дело в том, что перерыл весь инет, везде по разному и пробовал ставить как рекомендуют, но при проверке через онлайн сервис на индексацию профиля выходит сообщение такого вида: Ссылка «http://site.ru/user/1-alex/» найдена на странице «site.ru» и доступна для индексации поисковыми роботами.

В файле robots.txt у меня так:

Disallow: /index.php/user/

до этого было просто так:

Disallow: /user/

Как на самом деле долно быть?

Ссылка на профили такого вида: http://site.ru/user/656-river/

Изменено пользователем Alex222

Поделиться сообщением


Ссылка на сообщение

У вас все правильно настроено.

скорее всего сайт еще не переиндексирован.

  • Upvote 1

Поделиться сообщением


Ссылка на сообщение

Понял, спасибо за ответ!

Поделиться сообщением


Ссылка на сообщение

Сейчас попробовал через вебмастер яндекса проверить индексацию. Пробно взял урлы пары профилей, попробовал проверить, выходит тоже "Разрешён" к индексации.

Поделиться сообщением


Ссылка на сообщение

Нужна переиндексация, у яндекса она не мгновенная. А проверку вроде делает со старых показаний.

Целиком путь на ваш робот предоставьте.

  • Upvote 1

Поделиться сообщением


Ссылка на сообщение

Ещё раз понял, спасибо! Буду надеяться, что это так.

Поделиться сообщением


Ссылка на сообщение
Как на самом деле долно быть?

Ссылка на профили такого вида:

Для такого формата запрет на индексацию ссылки должен выглядеть как было "до этого"

Disallow: /user/

  • Upvote 1

Поделиться сообщением


Ссылка на сообщение
07/04/16 15:11 (изменено)

Хорошо, спасибо, сейчас переделаю.

Скажите, а вот остальное, ниже пример, тоже получается по аналогии /index.php убирать?

Disallow: /index.php/members/

Disallow: /index.php/calendar/

Disallow: /index.php/register/

Disallow: /index.php/lostpass/

Disallow: /index.php/login/

Изменено пользователем Alex222

Поделиться сообщением


Ссылка на сообщение

Да, уже сам понял. Проверил через вебмастер, всё теперь не индексируется. Спасибо, вопрос снят!

Поделиться сообщением


Ссылка на сообщение
07/04/16 15:58 (изменено)

Пардон, ещё вопрос один образовался. А вот такого вида (ниже) как будет правильно? Вроде по аналогии также /index.php убрать, но боюсь что может не правильно быть. Как подобная закрывашка будет выглядеть для моего формата ссылок?

Disallow: /index.php?app=forums&module=moderate&section=moderate

и вот это /*app=core&module=usercp

 

Или выложу вот полностью как выглядит. Боюсь, что много чего не правильно закрыто. Помогите правильно закрыть от индексации. Некоторое закрыл по вашей подсказке, а вот остальное... Дело в том, что в анализаторе htool раньше выдовало 10% заспенность ссылками и 15% Вероятность фильтра

на исх. ссылки (beta). Потом несколько дней назад начало выдавать 0% заспеменость ссылками, но зато появилось чего раньше небыло,такая инфо "Некачественные исходящие ссылки, Непот" и "Вероятность фильтра

на исх. ссылки (beta):" 50%, вот я и решил перетрясти файл robots.txt

 

User-agent: *
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=forums&module=moderate&section=moderate
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=global&section=reputation
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread
Disallow: /*&do=who
Disallow: /*&section=dname
Disallow: /user/
Disallow: /members/
Disallow: /calendar/
Disallow: /register/
Disallow: /lostpass/
Disallow: /login/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Изменено пользователем Alex222

Поделиться сообщением


Ссылка на сообщение

Это не чпу ссылки, а значит убирать index.php не нужно.

  • Upvote 1

Поделиться сообщением


Ссылка на сообщение

Понятно, спасибо!

Поделиться сообщением


Ссылка на сообщение

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

×
×
  • Создать...