Дело вот в чем...

 

Страницы в которых содержится index.php?, запрещены для индексации в robots.

 

Яндекс все равно загружает, не индексирует, только загружает. Суппорт написал, мол чтобы не загружались необходимо указать на страницах ошибку 404.

 

 

Быть может кто так делал? Как это сказывается на скорости индексирования яндексом, быстрее станет обрабатывать сайт или нет...?

 

Пардон, перенесите тему, не сразу заметил... :(

По нашим логам посещения поисковых ботов, у яндекса очень послушный бот - учитывает запреты в роботс и не переходит по запрещенным к индексации страницам. Естественно, запреты не являются указанием к действию а лишь рекомендации, поэтому они могут зайти на запрещенные урл, в этом ничего страшного нет и на скорость индексации это не влияет.

А вот как посоветовали делать нельзя. Мало того, что отдаете некорректный заголовок с которым могут быть определенные проблемы, так еще увеличиваете долю ошибок на сайте, что это врядли можно назвать полезным для сео оптимизации.

Для сео лучше по возможности убирать слеши с концов url или без разницы? B)

Ели надо вообще запретить, то можно в коде взять IP, по нему определить DNS и блокировать. Или смотреть на useragent.