Может быть кто-то сталкивался с такой проблемой... подскажет что-нибудь... была бы очень благодарна.

 

1 июня 2010 года создали форум на IPB3/0. Форум постоянно пополняется, развивается. В индексе Яндекса только одна страница. Несколько раз писала в службу поддержки Яндекса - стандартный ответ: развивайте свой сайт, не ставьте кликандры и seo-ссылки. Ничего подобного на сайте нет, но страницы не индексируются.

Добрый день, уважаемые форумчане!

 

Сейчас занимаюсь продвижением своего форума IPB 3.3.* в ПС. Возник ряд вопросов..

Исходные:

Форум расположен в в директории вида site.ru/forum

 

Путь к sitemap.xml - site.ru/forum/sitemap.xml, правильно ли это, или надо сайтмап уложить в корень сайта?(генерируется модулем IP.Seo)

 

robots.txt пока вот такого вида, лежит в "public_html"

 

User-agent: *
Disallow: /forum/admin-new/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/style_captcha/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=forums&module=moderate&section=moderate
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /forum/*app=core&module=global&section=reputation
Disallow: /forum/*app=core&module=usercp
Disallow: /forum/*app=core&module=usercp
Disallow: /forum/*app=members&module=messaging
Disallow: /forum/*&p=
Disallow: /forum/*&pid=
Disallow: /forum/*&hl=
Disallow: /forum/*&start=
Disallow: /forum/*view__getnewpost$
Disallow: /forum/*view__getlastpost$
Disallow: /forum/*view__old$
Disallow: /forum/*view__new$
Disallow: /forum/*view__getfirst$
Disallow: /forum/*view__getprevious$
Disallow: /forum/*view__getnext$
Disallow: /forum/*view__getlast$
Disallow: /forum/*&view=getnewpost$
Disallow: /forum/*&view=getlastpost$
Disallow: /forum/*&view=old$
Disallow: /forum/*&view=new$
Disallow: /forum/*&view=getfirst$
Disallow: /forum/*&view=getprevious$
Disallow: /forum/*&view=getnext$
Disallow: /forum/*&view=getlast$
Disallow: /forum/*?s=
Disallow: /forum/*&s=
Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forum/index.php?app=forums&module=extras&section=rating
Disallow: /forum/index.php?app=forums&module=forums&section=markasread
Disallow: /forum/*&do=who
Disallow: /forum/*&section=dname
Sitemap: http://site.ru/forum/sitemap.xml
User-Agent: Yandex
Host: site.ru

 

его так и оставить или необходима правка ?

 

в корне домена site.ru/, лежит index.php с таким содержимым:

 

<?php

header( 'Location: /forum/', true, 301 );

exit();

?>

 

Корректно ли его будут обрабатывать поисковики или нет? И имеет ли право на жизнь такой вариант, или надо было положить форум в корень домена?

 

На данный момент в индексе Гугла ~150 страниц, у Яндекса только две...site.ru и site.ru/forum...При этом исключенных страниц нет, то есть он две штуки и проиндексировал.

 

 

Disallow: /admin/ надо заменить на Disallow: /admin_new_name/ если я переименовывал директорию AC?

Изменено 1 октября 201213 г пользователем DreamDay

Путь к sitemap.xml - site.ru/forum/sitemap.xml, правильно ли это, или надо сайтмап уложить в корень сайта?(генерируется модулем IP.Seo)

Для сайтмэп адрес не важен.

 

Корректно ли его будут обрабатывать поисковики или нет?

Корректно.

 

И имеет ли право на жизнь такой вариант, или надо было положить форум в корень домена?

А зачем вы тогда его положили папку? Если на сайте планируется портал - да, а если будет только один форум, то какой смысл тогда?

 

Disallow: /admin/ надо заменить на Disallow: /admin_new_name/ если я переименовывал директорию AC?

Lol. Не надо. Смысл переименовании в том, чтобы адрес админки был неизвестным. Зачем тогда его менять если его любой желающий может прочесть?

 

User-Agent: Yandex

Host: site.ru

Прежде чем писать какие-то директивы в роботс, прочтите сначала их описания. User-agent начинает новую секцию, и если в ней указан конкретный бот, то он будет обрабатывать только ее, все остальное он учитывать не будет, даже правила из общей секции. Этим User-Agent: Yandex вы отменили все предыдущие запреты для яндекса, кроме того она еще составлено неверно. Удалите оттуда ее оттуда. Hosts можно оставить.

siv1987, спасибо за оперативный и развернутый ответ!

 

User-Agent: Yandex снес нафик, в самом деле решил действовать по наитию и не совсем верно интерпретировал смысл директивы)

 

А на главной странице со временем планирую создать простой сайтик, новостная лента и навигационное меню, вроде этого http://www.308-club.ru/

 

Но пока есть только форум, он важнее :)

Изменено 1 октября 201213 г пользователем DreamDay

У меня проблема подобного рода тоже. Причем сначала было порядка 1500 страниц в поиске. Потом резко цыфра упала до 200 и теперь выше 300 никогда не поднималась. В Гугле тоже самое. Но есть один нюанс. Был сайт example.com, форум был доступен по адресу example.com/forum. У сайта сменился домен и стал example.ru а домен example.com стал неосновным зеркалом нового домена. Склейка прошла все отлично. И вот теперь самое интересное. Форум в свою очередь стал доступен по адресу forum.example.com/ Может быть моя проблема в том что форум остался на поддомене не главного зеркала?

В Гугле тоже самое.

не похоже

Результатов: примерно 5 600

 

В яндексе ждите пока бот переиндексирует форум и поклеются все страницы. Он медлительнее чем гугл.

 

Может быть моя проблема в том что форум остался на поддомене не главного зеркала?

На поддомене он у вас сейчас. А на старом адресе стоит редирект. Только добавить его надо было первым перед редиректом с/без www

 

Allow : /forum/*

Allow : /topic/*

Нахрена это в роботсе?

 

Host: http://

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#host

 

Результатов: примерно 5 600

Я руководствуюсь инструментами для веб мастеров...

 

В яндексе ждите пока поклеются все страницы и бот переиндексирует форум. Он медлительнее чем гугл.

Яндекс, судя по логам форума, вообще не заходит на него..:(

На поддомене он у вас сейчас. А на старом адресе стоит редирект. Только добавить его надо было первым перед редиректом с/без www

На счет этого немного не понял... Куда что добавить..?

Нахрена это в роботсе?

Да это я уже от безысходности... Указывал непосредственные Allow пути.

Я руководствуюсь инструментами для веб мастеров...

В поиске явно не 53 страниц, значит этот график показывает не общее количество страниц проиндексированых на форуме. "Отправлено" - скорее всего из sitemap. Руководствуетесь оператором site: или общей статистикой проекта.

 

Указывал непосредственные Allow пути.

Они тут не нужны.

В поиске явно не 53 страниц, значит этот инструмент показывает не общее количество страниц проиндексированых на форуме. "Отправлено" - скорее всего из sitemap. Руководствуетесь оператором site: или общей статистикой проекта.

 

 

Они тут не нужны.

Следовательно Allow для sitemap тоже роли не играет?

/forum и /topic убрал.

Не объясните поподробнее на счет редиректов? Не совсем понял что Вы имели ввиду...

Следовательно Allow для sitemap тоже роли не играет?

для sitemap можете оставить, хотя в данном случае нет никаких директив запрещающих адреса сайтмэпа.

 

Не объясните поподробнее на счет редиректов? Не совсем понял что Вы имели ввиду...

Правило которое редиректит site.ru/forum/ => forum.site.ru/ нужно добавить перед редиректом который редиректит на другой домен (если оно вообще там есть, судя по всему ее может и не быть). Ну если все уже и так поклеенно, можете оставить как есть.

для sitemap можете оставить, хотя в данном случае нет никаких директив запрещающих адреса сайтмэпа.

 

 

Правило которое редиректит site.ru/forum/ => forum.site.ru/ нужно добавить перед редиректом который редиректит на другой домен (если оно вообще там есть, судя по всему ее может и не быть). Ну если все уже и так поклеенно, можете оставить как есть.

А, понял. Ну да, все склеено уже месяца три наверно. Просто я почему обратился за помощью. Было же много страниц в индексе Яндекса. Порядка полутора тысяч точно. Уже после склейки. Причем Яндекс подхватил новый адрес форума быстрее Гугла.. А в один прекрасный день бах, и количество страниц в индексе падает в 5-6 раз. И если я в инструментах яндекса добавляю урл вручную, в разделе сообщить о новом сайте, например урл любой темы с форума, то мне яндекс выдает типа спасибо сайт добавлен в базу и мол робот обязательно на него заглянет. Что говорит о том что его и в помине нет в индексе, урла я имею ввиду...(((

Что говорит о том что его и в помине нет в индексе, урла я имею ввиду...(((

Не факт. А если добавить урл который в индексе? Кроме того "в индексе" тут понятие относительное, так как содержимое страницы может менятся и все равно потребуется переиндексация.

Не факт. А если добавить урл который в индексе? Кроме того "в индексе" тут понятие относительное, так как содержимое страницы может менятся и все равно потребуется переиндексация.

Если добавляю уже проиндексированный (из панели вебмастера) то Яндекс пишет что указаный урл уже проиндексирован...