Форум на IPB3/0 не индексируется Яндексом

[Alex80 0]

  27.02.2011 в 10:14, Fisana сказал:

Думаю, проще подчиниться и убрать www из роботс в директиве хост, поправить это в хтаччесс (или где прописан редирект).

Здравствуйте!

Подскажите, пожалуйста, как в хтаччес прописать 301 редирект.

Экспресс анализ сайта на seolib показывает, что "Рекомендуем настроить 301 редирект с целью склейки зеркал!"

Сейчас файл. htaccess выглядит сл. образом.

<IfModule mod_rewrite.c>
Options -MultiViews
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} .*\.(jpeg|jpg|gif|png)$
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule . /public/404.php [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

Где здесь прописать 301 редирект?

Главное зеркало у меня без www

Спасибо!

[DreamDay 0]

Добрый день, уважаемые форумчане!

 

Сейчас занимаюсь продвижением своего форума IPB 3.3.* в ПС. Возник ряд вопросов..

Исходные:

Форум расположен в в директории вида site.ru/forum

 

Путь к sitemap.xml - site.ru/forum/sitemap.xml, правильно ли это, или надо сайтмап уложить в корень сайта?(генерируется модулем IP.Seo)

 

robots.txt пока вот такого вида, лежит в "public_html"

 

User-agent: *
Disallow: /forum/admin-new/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/style_captcha/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=forums&module=moderate&section=moderate
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /forum/*app=core&module=global&section=reputation
Disallow: /forum/*app=core&module=usercp
Disallow: /forum/*app=core&module=usercp
Disallow: /forum/*app=members&module=messaging
Disallow: /forum/*&p=
Disallow: /forum/*&pid=
Disallow: /forum/*&hl=
Disallow: /forum/*&start=
Disallow: /forum/*view__getnewpost$
Disallow: /forum/*view__getlastpost$
Disallow: /forum/*view__old$
Disallow: /forum/*view__new$
Disallow: /forum/*view__getfirst$
Disallow: /forum/*view__getprevious$
Disallow: /forum/*view__getnext$
Disallow: /forum/*view__getlast$
Disallow: /forum/*&view=getnewpost$
Disallow: /forum/*&view=getlastpost$
Disallow: /forum/*&view=old$
Disallow: /forum/*&view=new$
Disallow: /forum/*&view=getfirst$
Disallow: /forum/*&view=getprevious$
Disallow: /forum/*&view=getnext$
Disallow: /forum/*&view=getlast$
Disallow: /forum/*?s=
Disallow: /forum/*&s=
Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forum/index.php?app=forums&module=extras&section=rating
Disallow: /forum/index.php?app=forums&module=forums&section=markasread
Disallow: /forum/*&do=who
Disallow: /forum/*&section=dname
Sitemap: http://site.ru/forum/sitemap.xml
User-Agent: Yandex
Host: site.ru

 

его так и оставить или необходима правка ?

 

в корне домена site.ru/, лежит index.php с таким содержимым:

 

  Цитата

<?php

header( 'Location: /forum/', true, 301 );

exit();

?>

 

Корректно ли его будут обрабатывать поисковики или нет? И имеет ли право на жизнь такой вариант, или надо было положить форум в корень домена?

 

На данный момент в индексе Гугла ~150 страниц, у Яндекса только две...site.ru и site.ru/forum...При этом исключенных страниц нет, то есть он две штуки и проиндексировал.

 

 

Disallow: /admin/ надо заменить на Disallow: /admin_new_name/ если я переименовывал директорию AC?

Изменено 1 октября 2012 пользователем DreamDay

[siv1987 2629]

  DreamDay писал:

Путь к sitemap.xml - site.ru/forum/sitemap.xml, правильно ли это, или надо сайтмап уложить в корень сайта?(генерируется модулем IP.Seo)

Для сайтмэп адрес не важен.

 

  DreamDay писал:

Корректно ли его будут обрабатывать поисковики или нет?

Корректно.

 

  DreamDay писал:

И имеет ли право на жизнь такой вариант, или надо было положить форум в корень домена?

А зачем вы тогда его положили папку? Если на сайте планируется портал - да, а если будет только один форум, то какой смысл тогда?

 

  DreamDay писал:

Disallow: /admin/ надо заменить на Disallow: /admin_new_name/ если я переименовывал директорию AC?

Lol. Не надо. Смысл переименовании в том, чтобы адрес админки был неизвестным. Зачем тогда его менять если его любой желающий может прочесть?

 

  DreamDay писал:

User-Agent: Yandex

Host: site.ru

Прежде чем писать какие-то директивы в роботс, прочтите сначала их описания. User-agent начинает новую секцию, и если в ней указан конкретный бот, то он будет обрабатывать только ее, все остальное он учитывать не будет, даже правила из общей секции. Этим User-Agent: Yandex вы отменили все предыдущие запреты для яндекса, кроме того она еще составлено неверно. Удалите оттуда ее оттуда. Hosts можно оставить.

[DreamDay 0]

siv1987, спасибо за оперативный и развернутый ответ!

 

User-Agent: Yandex снес нафик, в самом деле решил действовать по наитию и не совсем верно интерпретировал смысл директивы)

 

А на главной странице со временем планирую создать простой сайтик, новостная лента и навигационное меню, вроде этого http://www.308-club.ru/

 

Но пока есть только форум, он важнее :)

Изменено 1 октября 2012 пользователем DreamDay

[gods33 0]

У меня проблема подобного рода тоже. Причем сначала было порядка 1500 страниц в поиске. Потом резко цыфра упала до 200 и теперь выше 300 никогда не поднималась. В Гугле тоже самое. Но есть один нюанс. Был сайт example.com, форум был доступен по адресу example.com/forum. У сайта сменился домен и стал example.ru а домен example.com стал неосновным зеркалом нового домена. Склейка прошла все отлично. И вот теперь самое интересное. Форум в свою очередь стал доступен по адресу forum.example.com/ Может быть моя проблема в том что форум остался на поддомене не главного зеркала?

[siv1987 2629]

  gods33 писал:

В Гугле тоже самое.

не похоже

Результатов: примерно 5 600

 

В яндексе ждите пока бот переиндексирует форум и поклеются все страницы. Он медлительнее чем гугл.

 

  gods33 писал:

Может быть моя проблема в том что форум остался на поддомене не главного зеркала?

На поддомене он у вас сейчас. А на старом адресе стоит редирект. Только добавить его надо было первым перед редиректом с/без www

 

  Цитата

Allow : /forum/*

Allow : /topic/*

Нахрена это в роботсе?

 

  Цитата

Host: http://

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#host

[gods33 0]

  28.03.2014 в 20:08, siv1987 сказал:

 

Результатов: примерно 5 600

Я руководствуюсь инструментами для веб мастеров...

 

  28.03.2014 в 20:08, siv1987 сказал:

В яндексе ждите пока поклеются все страницы и бот переиндексирует форум. Он медлительнее чем гугл.

Яндекс, судя по логам форума, вообще не заходит на него..:(

  28.03.2014 в 20:08, siv1987 сказал:

На поддомене он у вас сейчас. А на старом адресе стоит редирект. Только добавить его надо было первым перед редиректом с/без www

На счет этого немного не понял... Куда что добавить..?

  28.03.2014 в 20:08, siv1987 сказал:

Нахрена это в роботсе?

Да это я уже от безысходности... Указывал непосредственные Allow пути.

[siv1987 2629]

  gods33 писал:

Я руководствуюсь инструментами для веб мастеров...

В поиске явно не 53 страниц, значит этот график показывает не общее количество страниц проиндексированых на форуме. "Отправлено" - скорее всего из sitemap. Руководствуетесь оператором site: или общей статистикой проекта.

 

  gods33 писал:

Указывал непосредственные Allow пути.

Они тут не нужны.

[gods33 0]

  28.03.2014 в 20:30, siv1987 сказал:

В поиске явно не 53 страниц, значит этот инструмент показывает не общее количество страниц проиндексированых на форуме. "Отправлено" - скорее всего из sitemap. Руководствуетесь оператором site: или общей статистикой проекта.

 

 

Они тут не нужны.

Следовательно Allow для sitemap тоже роли не играет?

/forum и /topic убрал.

Не объясните поподробнее на счет редиректов? Не совсем понял что Вы имели ввиду...

[siv1987 2629]

  gods33 писал:

Следовательно Allow для sitemap тоже роли не играет?

для sitemap можете оставить, хотя в данном случае нет никаких директив запрещающих адреса сайтмэпа.

 

  gods33 писал:

Не объясните поподробнее на счет редиректов? Не совсем понял что Вы имели ввиду...

Правило которое редиректит site.ru/forum/ => forum.site.ru/ нужно добавить перед редиректом который редиректит на другой домен (если оно вообще там есть, судя по всему ее может и не быть). Ну если все уже и так поклеенно, можете оставить как есть.

[gods33 0]

  28.03.2014 в 20:40, siv1987 сказал:

для sitemap можете оставить, хотя в данном случае нет никаких директив запрещающих адреса сайтмэпа.

 

 

Правило которое редиректит site.ru/forum/ => forum.site.ru/ нужно добавить перед редиректом который редиректит на другой домен (если оно вообще там есть, судя по всему ее может и не быть). Ну если все уже и так поклеенно, можете оставить как есть.

А, понял. Ну да, все склеено уже месяца три наверно. Просто я почему обратился за помощью. Было же много страниц в индексе Яндекса. Порядка полутора тысяч точно. Уже после склейки. Причем Яндекс подхватил новый адрес форума быстрее Гугла.. А в один прекрасный день бах, и количество страниц в индексе падает в 5-6 раз. И если я в инструментах яндекса добавляю урл вручную, в разделе сообщить о новом сайте, например урл любой темы с форума, то мне яндекс выдает типа спасибо сайт добавлен в базу и мол робот обязательно на него заглянет. Что говорит о том что его и в помине нет в индексе, урла я имею ввиду...(((

[siv1987 2629]

  Цитата

Что говорит о том что его и в помине нет в индексе, урла я имею ввиду...(((

Не факт. А если добавить урл который в индексе? Кроме того "в индексе" тут понятие относительное, так как содержимое страницы может менятся и все равно потребуется переиндексация.

[gods33 0]

  29.03.2014 в 08:31, siv1987 сказал:

Не факт. А если добавить урл который в индексе? Кроме того "в индексе" тут понятие относительное, так как содержимое страницы может менятся и все равно потребуется переиндексация.

Если добавляю уже проиндексированный (из панели вебмастера) то Яндекс пишет что указаный урл уже проиндексирован...