Яндекс в помощь вебмастерам

[siv1987 2628]

Писать Платону почему вашего мега-крутого форума нету в индексе. :(

 

http://feedback.yandex.ru/

[Магда 0]

Это нормально.

У меня тоже масса дублей запрещена.

В индексе 5 тысяч страниц вместо 50 тысяч. А трафика поискового больше стало, как дубли запретила.

У меня

Загружено 52000

Исключено 13000

Страниц в поиск 472.

 

Почему так мало? И где остальные?

Ведь 52000-13000 ну никак 472 не получается.

Или я вобще этот яндекс не понимаю(

[Sannis 2]

Интересно, что у вас в исключённых такого? Ведь насколько я вижу по своим сайтам, туда не попадают запрещённые через robots.txt, так что в нормальных условиях должно быть очень маленькое число...

[Магда 0]

Там в основном topics/названия тем на русском/

Но я не понимаю, почему в индекс так мало попало, на форуме 1500 тем. Хотя бы уж темы должны были попасть.

И яндекс мне пишет, что эти исключенные 13000 запрещены именно robots.txt. Но он у меня стандартный, ничего нового сама не добавляла.

[Fisana 700]

Может дубли исключены?

У каждой страницы форума есть несколько адресов. А в индекс все загонять неправильно.

[Магда 0]

Да это я знаю, понятно что дубли.

Только почему из 1500 тем попало только 472 страницы. Причем часть из этих 472 это страницы форумов. Остальное-то куда делось? Получается, что тем совсем мало попадает в индекс.

Изменено 4 марта 2010 пользователем Магда

[Sannis 2]

Может дубли исключены?

У каждой страницы форума есть несколько адресов. А в индекс все загонять неправильно.

Насколько я понимаю, в таком случае лучше запретиь ненужные в роботсе, дабы Яндексу проще было?

[Fisana 700]

Конечно. Тут запрещены.

Для этого сайта

ТИЦ 375

Страниц в поиске 6307

Внешних ссылок на страницы сайта 3007697

Время последнего посещения сайта роботом 3.03.2010

Загружено роботом 82555

Исключено роботом 0

Нетрудно посчитать, сколько хапрещено (дубли, профили, служебные) :)

Зато все ценное в индексе и ни одной исключенной страницы.

 

А в исключенных страницах какая ошибка?

Если запрет в роботсе, в исключенные попадать не должны.

[Магда 0]

А в исключенных страницах какая ошибка?

Документ запрещен в файле robots.txt - 13072

 

Страниц в поиске 479

Внешних ссылок на страницы сайта 6574

Время последнего посещения сайта роботом 2.03.2010

Загружено роботом 53594

Исключено роботом 13075

 

А не может это быть, из-за того, что форум на поддомене стоит?

И что в роботсе тогда хостом указывать: главный домен или поддомен?

Изменено 5 марта 2010 пользователем Магда

[Fisana 700]

Поддомен. Это же отдельный хост.

Не могу насчет 3.0 ничего подсказать, не настраивала роботс под него :)

[Магда 0]

Поддомен. Это же отдельный хост.

Ну вот я его и указала.

Да, вспомнила, проверяла роботс на яндексе когда, он на главный домен ругался, так что поддомен и вставила.

[siv1987 2628]

и вообще для яндекса правила лучше писать отдельно, директиву хост понимает только он.

[siv1987 2628]

То что страницы не попали в индекс это в принципе понятно, даже тут нельзя сказать что все загруженные страницы участвуют в поиске, хотя форум наполнен уникальным и тематическим контентом, одни только посты фисаны чего стоят - мини статейки :)

 

Если запрет в роботсе, в исключенные попадать не должны.

А я почему-то думал что исключенные страницы там должны быть:

http://help.yandex.ru/webmaster/?id=995303#995372

 

У меня тоже самое, все запрещенные в роботс'е страницы находятся в исключенных. Надо бы тогда его еще раз проверить...

Загружено роботом 14568

Исключено роботом 10007

[Ph-A 395]

У меня тоже самое, все запрещеные в роботс'е страницы находятся в исключенных. Надо бы тогда его еще раз проверить...

Загружено роботом 14568

Исключено роботом 10007

Аналогично.

Первый форум

Страниц в поиске 33090

Загружено роботом 663994

Исключено роботом 596434

 

HTTP-статус: Ресурс не найден (404)? - 17

Формат документа не поддерживается? - 66

Документ запрещен в файле robots.txt? - 596351

 

Другой форум

Страниц в поиске 1052

Загружено роботом 27842

Исключено роботом 3796

 

HTTP-статус: Ресурс не найден (404)? - 37

Документ запрещен в файле robots.txt? - 3759

[Магда 0]

Все нормально стало)

просто яндекс тормозил)