Перейти к публикации
Дизайн и модификация IPS Community IPBSkinsBETA
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...
Alex222

Правильный ли файл robots.txt ?

Рекомендованные сообщения

Сгенерировал при помощи сайта cy-pr.com robots.txt для своего форума, почему он получился такой маленький? Что не правильно делаю подскажите пожалуйста?

 

User-agent: *

Crawl-delay: 1

Host: investmani.ru

Sitemap: http://investmani.ru/sitemap.xml

Поделиться сообщением


Ссылка на сообщение

Сгенерировал при помощи сайта cy-pr.com

Сервисы могут генерировать какие-то запреты в роботс только на основе используемой кмс. Либо сервис не смог определить какой движок используется (или отсутствует информация о нем), либо он просто не генерирует запреты.

Для 3.x robots поставляется вместе с дистрибутивом форума.

Поделиться сообщением


Ссылка на сообщение

от сайта зависит это, ведь структура не у всех одинаковая, а в роботс вы закрываете ненужные для индексации файлы, кому-то нужно закрыть одни а кому-то другие, конечно есть некоторые общие, но этого не достаточно нужно смотреть индивидуально на сайт

Поделиться сообщением


Ссылка на сообщение

О, может и мой роботс рассмотрите?)

 

User-agent: *

Allow: /

Disallow: /admin/

 

Sitemap: https://suntown-ukraine.com/sitemap.xml

 

Я посмотрел на ваших роботов, и если честно не совсем понимаю зачем так много всего указывать?

как я понимаю поисковые роботы индексируют всё что есть на сервере в сайте, если у меня в связи с тем что я не кодер, нету доступа к серверной части сайта, то получается я и не смогу указать ничего более подробно? Или есть какие-то стандартные правила составления всех robots.txt?

Поделиться сообщением


Ссылка на сообщение

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

×
×
  • Создать...