wick 2 03/04/2015 01:50 PM (edited) Что за ошибка и как от неё избавиться? в списке ошибок ссылки ЧПУ, то есть после включения ЧПУ, все ссылки ушли в блокировку яндекса Edited March 4, 2015 by wick Share this post Link to post
siv1987 2,629 03/04/2015 02:15 PM Эти ошибки носят информативный характер. Это означает что не надо сломя голову бежать и все "исправлять", особенно то, что исключено роботсом - понятно, да, что раз документ запрещен в robots.txt значит так и должно быть и это будет отражено в "ошибках". Веб-мастера информируют, что эти адреса не проиндексированы по таким-то причинам. "Документ является неканоническим" означает что неканонические ссылки, т.е. дубли, были исключены. То же касается и остальных ошибок. в списке ошибок ссылки ЧПУ, то есть после включения ЧПУ, все ссылки ушли в блокировку яндексаСтарые адреса не соответствуют новым каноническим адресам, поэтому старые были исключены и новые проиндексированы (будут). Share this post Link to post
wick 2 03/04/2015 02:18 PM странно что в индексе обычные ссылки, а в блоке ЧПУ ссылки и их количество превышает количество проиндексированых Share this post Link to post
siv1987 2,629 03/04/2015 02:22 PM Индекс обновляется не сразу. Есть такое понятие как поисковой АП. Все зависит от того самого "траста" сайта, насколько он является обновляемым и посещаемым ресурсом. Там, где посещаемость десятки тысяч пользователей ежедневно и обновляется ежеминутно соответственно и бот будет сканировать его чаще. 1 Share this post Link to post
wick 2 03/04/2015 02:25 PM Индекс обновляется не сразу. Есть такое понятие как поисковой АП. Все зависит от того самого "траста" сайта, насколько он является обновляемым и посещаемым ресурсом. Там, где посещаемость десятки тысяч пользователей ежедневно и обновляется ежеминутно соответственно и бот будет сканировать его чаще.Спасибо за инфу. Share this post Link to post
wick 2 03/15/2015 07:53 AM на 2.3.6 всего ошибок было около 200 шт. загружено яндексом страниц более почти 200 000, проиндексировано было 40 000 страниц. Сейчас ошибок в десять раз больше чем проиндексированных страниц ( Share this post Link to post
siv1987 2,629 03/15/2015 09:04 AM На 2.3 небыло канонического тега, небыло роботс'а который поставлялся вместе с дистрибутивом, поэтому небыло и никаких "ошибок" - бот индексировал все подряд, весь мусор и дубли на форуме. Откуда там 200 000 страниц? Для этого надо иметь примерно 150 тысяч тем. Вы вкурсе что одна страница может иметь как минимум 15 дублей в зависимости от количество сообщений на странице, потом были разные режима просмотра - древовидный, линейный. Понятно, что реально целевые страницы были в десять раз меньше, а все остальное были дубли. Ваша проблема в том, что вы видимо не понимаете, что эти ошибки причины по которым бот не проиндексировал страницы. Причины могут быть разные - вебмастер запретил индексацию, указал канонический адрес, а может быть наоборот из-за незнания и криворукости закрыл к индексации половину форума. В этих ошибках указывается какие адреса были исключены из поиска, по ним можно определить нет ли действительно каких-то ошибках на форуме что мешает индексации нормальным url. Share this post Link to post
kgb 35 03/15/2015 09:09 AM на 2.3.6 всего ошибок было около 200 шт. загружено яндексом страниц более почти 200 000, проиндексировано было 40 000 страниц. Сейчас ошибок в десять раз больше чем проиндексированных страниц ( Документ является неканоническим - это не ошибка. Погуглите хоть, что значит неканонический документ, что такое дубли страниц и зачем нужен rel='canonical' Share this post Link to post
siv1987 2,629 03/15/2015 09:16 AM Оно не то что не ошибка, это причина исключения. Если всунуть левый тег который будет указывать для всех страниц один и тот же канонический адрес тогда это действительно будет ошибкой. В данном случае эти страницы исключены правильно. 1 Share this post Link to post
wick 2 03/17/2015 05:15 PM подскажите к какому модулю или вообще к чему эта ссылка /index.php?app=forums&module=forums§ion=markasread&marktype=forum&forumid=41&returntoforumid=0&i=1Вчера в гугле появилось сотен 5 ошибок с этим "markasread&marktype" Роботу Googlebot не удалось просканировать URL, поскольку для него заблокирован доступ к сайту или для просмотра страницы требуется аутентификация на сервере. Share this post Link to post
siv1987 2,629 03/17/2015 06:52 PM section=markasread&marktype=forummarkasread - отметь форум как прочитанный. Обычно их запрещают в роботс чтобы бот их зря не дергал. Share this post Link to post
wick 2 03/17/2015 08:40 PM markasread - отметь форум как прочитанный. Обычно их запрещают в роботс чтобы бот их зря не дергал.подскажите пожалуйста как запретить их, ну то есть как выглядит ссылка или каталог который надо запретить. Спасибо Share this post Link to post
siv1987 2,629 03/17/2015 08:45 PM подскажите пожалуйста как запретить ихА потом еще других стоппицот ссылок найдете. Есть стандартный роботс который изначально настроен чтобы исключить большинство дублей и служебных страниц. Пользуйтесь им. ну то есть как выглядит ссылка или каталог который надо запретитьСсылка у вас перед глазами. Share this post Link to post
wick 2 03/17/2015 09:10 PM Спасибо большое, если бы ещё знать где взять этот стандартный роботс ) Share this post Link to post
Атаман 464 03/18/2015 04:33 AM Он у вас в корне фтп. robotstxt.txt или robots.txt Share this post Link to post