Testweb 3 12/03/15 10:36 Дело вот в чем... Страницы в которых содержится index.php?, запрещены для индексации в robots. Яндекс все равно загружает, не индексирует, только загружает. Суппорт написал, мол чтобы не загружались необходимо указать на страницах ошибку 404. Быть может кто так делал? Как это сказывается на скорости индексирования яндексом, быстрее станет обрабатывать сайт или нет...? Пардон, перенесите тему, не сразу заметил... :( Поделиться сообщением Ссылка на сообщение
siv1987 2628 12/03/15 11:12 По нашим логам посещения поисковых ботов, у яндекса очень послушный бот - учитывает запреты в роботс и не переходит по запрещенным к индексации страницам. Естественно, запреты не являются указанием к действию а лишь рекомендации, поэтому они могут зайти на запрещенные урл, в этом ничего страшного нет и на скорость индексации это не влияет.А вот как посоветовали делать нельзя. Мало того, что отдаете некорректный заголовок с которым могут быть определенные проблемы, так еще увеличиваете долю ошибок на сайте, что это врядли можно назвать полезным для сео оптимизации. 1 Поделиться сообщением Ссылка на сообщение
Testweb 3 12/03/15 11:59 Для сео лучше по возможности убирать слеши с концов url или без разницы? B) Поделиться сообщением Ссылка на сообщение
Buyanovb 0 04/08/16 19:27 Ели надо вообще запретить, то можно в коде взять IP, по нему определить DNS и блокировать. Или смотреть на useragent. Поделиться сообщением Ссылка на сообщение
