Помогите с robots.txt - Страница 2 - Дизайн и модификация Invision Power Board

Перейти к содержимому

 

Правила раздела

Здесь обсуждаются проблемы поисковой оптимизации и индексирования форумов.
Если зашли сюда случайно, пожалуйста, не оффтопьте и обратите внимание на другие разделы.
Оформление форумов, включая верстку скинов.
Настройка форумов, установка и администрирование.
Размещение рекламы на форумах.
Техническая поддержка наших скинов и модов.

СвернутьПрикрепленные теги

Теги не найдены

  • 4 Страниц +
  • 1
  • 2
  • 3
  • 4
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

Помогите с robots.txt

#16 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 190
  • Регистрация: 21-Ноябрь 05
  • Репутация: 695
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 12 Сентябрь 2010 - 14:19

В роботсе ничего лишнего не запрещено.
Даже наоборот....
Профили пользователей, календарь и много всего, что не содержит контента, надо закрыть
0

#17 Пользователь не на сайте   Семёныч ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 176
  • Регистрация: 21-Июль 10
  • Репутация: 3
  • IPB version:3.3.x
 

Отправлено 12 Сентябрь 2010 - 14:22

Тогда в чем может быть проблема???
Запрещенные получаются практически все темы...

А можно пример вашего робота увидеть...
0

#18 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 190
  • Регистрация: 21-Ноябрь 05
  • Репутация: 695
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 12 Сентябрь 2010 - 14:23

Если гостям профили и список не показываете, запрещать не обязательно. В всех других случаях нужно.

http://webmaster.yan...site/robots.xml
Проверьте темы.
Они не должны быть запрещены.
Там запрещаются только дубли (ссылки на посты)

_http://ipbskins.ru/robots.txt
Но не копируйте, это под наш чпу
0

#19 Пользователь не на сайте   Семёныч ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 176
  • Регистрация: 21-Июль 10
  • Репутация: 3
  • IPB version:3.3.x
 

Отправлено 12 Сентябрь 2010 - 14:33

можно подробней как проверить???

-IMG-
По данному вопросу уже когда то писал в тех помощь ..
ответ...

Цитата

Здравствуйте!

Спасибо, что обратили наше внимание на данную ошибку.
Указанная директива учитывается нашим роботом.


а что значит строчка User-agent: Mediapartners-Google*
0

#20 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 190
  • Регистрация: 21-Ноябрь 05
  • Репутация: 695
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 12 Сентябрь 2010 - 14:51

http://webmaster.yandex.ru/robots.xml
Все написано, как проверить. Добавьте в окно url тем

Цитата

а что значит строчка User-agent: Mediapartners-Google*

Доступ боту adsense
0

#21 Пользователь не на сайте   Семёныч ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 176
  • Регистрация: 21-Июль 10
  • Репутация: 3
  • IPB version:3.3.x
 

Отправлено 12 Сентябрь 2010 - 15:01

выдает вот что -IMG-
а если убрать Disallow: /*&pid=
все нормально, может так и поступить??
0

#22 Пользователь на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 289
  • Регистрация: 20-Март 09
  • Репутация: 2 088
  • IPB version:3.1.x
 

Отправлено 12 Сентябрь 2010 - 17:12

Цитата

Тогда в чем может быть проблема???
Запрещенные получаются практически все темы...

Покажите в вебмастере где у вас запрещены темы?
&pid форум включает когда отдает ссылку на определенный пост. Урл темы должен быть чистым - forum.ru/index.php?showtopic={topic_id} (&st={st}).

Цитата

Вроде не дубли, да и не мусор...

А мусор то есть: f=
Если профили не закрывайте от индексации, этот этот параметр стоит закрыть. И хотя это не страшно, лучше даже в профилях убрать лишние.

Зы.
Если сравнить с выдачей гугла, форум наверняка словил АГС.
До этого сколько страниц было в поиске у яндекса? Даже на флудильных форумов при таком количестве сообщений в поиске попадают как минимум 500-1000 тем, а то и больше. 31 страниц, из которых больше половины профили - явно на вас наложили фильтр. Пишите платонам, за что и почему.

В роботс замените:
host: hookahpro.ru на host: www.hookahpro.ru
1

#23 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 190
  • Регистрация: 21-Ноябрь 05
  • Репутация: 695
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 12 Сентябрь 2010 - 18:38

Просмотреть сообщениеСемёныч 12 Сентябрь 2010 - 15:01 сказал(а):

выдает вот что -IMG-
а если убрать Disallow: /*&pid=
все нормально, может так и поступить??

Согласна с siv1987
URL с /*&pid= ссылаются на отдельные посты и все они ведут на страницу темы. Если там 15 постов, будет 15 дублей страницы темы.
В итоге в индексе образуется множество дублей.
Вес контента "распылится", в целом позиции упадут.

АГС вроде не за что.
Возможно, проблема с определением основного зеркала, отсюда проблемы.
1

#24 Пользователь не на сайте   Семёныч ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 176
  • Регистрация: 21-Июль 10
  • Репутация: 3
  • IPB version:3.3.x
 

Отправлено 12 Сентябрь 2010 - 18:51

Цитата

Покажите в вебмастере где у вас запрещены темы?

Это как??

Цитата

&pid форум включает когда отдает ссылку на определенный пост. Урл темы должен быть чистым - forum.ru/index.php?showtopic={topic_id} (&st={st}).

Где это правится??

Цитата

форум наверняка словил АГС.

А кто такой АГС??? )))

Форум совсем недавно на этом домене...
Месяц всего... Так что сказать сколько было страниц не знаю...

А как точно узнать наложен ли фильтр??

Цитата

Возможно, проблема с определением основного зеркала, отсюда проблемы.

А енто что такое??
0

#25 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 190
  • Регистрация: 21-Ноябрь 05
  • Репутация: 695
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 12 Сентябрь 2010 - 19:42

1. В панели вебмастера в списке исключенных в связи с запретом в робтсе. Уже один дубль показали. Он правильно исключен.
2. Это уже исправлено запретом индексации отдельных постов в роботсе.
3. АГС – фильтр Яндекса, когда в индексе остается от 1 до 10-11 страниц.
У Вас не АГС
4. Месяц – небольшой срок. Пока рано судить об индексации
5. Читайте хелпы Яндекса про зеркала.

И вообще, читайте FAQ в вебмастере прежде, чем написать следующий пост.
0

#26 Пользователь на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 289
  • Регистрация: 20-Март 09
  • Репутация: 2 088
  • IPB version:3.1.x
 

Отправлено 12 Сентябрь 2010 - 19:53

Цитата

Форум совсем недавно на этом домене...
Месяц всего... Так что сказать сколько было страниц не знаю...

Понятно. Тогда АГС отпадает.
Сделайте редирект со старых ссылок на новые и ждите переиндексации. Яндекс в этом плане медленнее чем гугл.

То что у вас сейчас в htaccess RewriteRule ^(.*) newdomen.ru/$1 выкиньте в топку, это не годится если хотите склейть старые урлы с новыми. Должно быть что то типа такого
RewriteRule ^viewforum.php?f=([0-9]+) http://newdomen.ru/i...hp?showforum=$1 [R=301,L]
RewriteRule ^viewtopic.php?t=([0-9]+) http://newdomen.ru/i...hp?showtopic=$1 [R=301,L]
и еще куча правил для разного рода страниц.

Я, к сожалению, не особо владею всеми тонкостями реврайта. Лучше найдите человека кто его вам правильно настроит.
0

#27 Пользователь не на сайте   Семёныч ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 176
  • Регистрация: 21-Июль 10
  • Репутация: 3
  • IPB version:3.3.x
 

Отправлено 14 Сентябрь 2010 - 21:12

А есть ли здесь такие люди??
0

#28 Пользователь на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 289
  • Регистрация: 20-Март 09
  • Репутация: 2 088
  • IPB version:3.1.x
 

Отправлено 19 Сентябрь 2010 - 21:51

Просмотреть сообщениеСемёныч 14 Сентябрь 2010 - 21:12 сказал(а):

А есть ли здесь такие люди??


В принципе, могу и я пошаманить с htaccess'ом.
Если что, пишите в ЛС.
0

#29 Пользователь не на сайте   Vitalik Deqa ответил: »

 
 
  • Newbie
  • *
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 6
  • Регистрация: 20-Январь 11
  • Репутация: 0
  • IPB version:3.0.x
 

Отправлено 20 Январь 2011 - 18:21

а если у меня форум стоить на поддомене как тогда сделать robots.txt ????

а если у меня форум стоить на поддомене как тогда сделать robots.txt ????
0

#30 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 190
  • Регистрация: 21-Ноябрь 05
  • Репутация: 695
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 20 Январь 2011 - 19:06

В корень поддомена класть. Поддомен – это отдельный сайт
0

Сообщить об этой теме:


  • 4 Страниц +
  • 1
  • 2
  • 3
  • 4
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

1 пользователей читают эту тему
0 зарегистрированных, 1 гостей, 0 скрытых


Контактная информация

Вопросы по работе сайта

+7 (917) 501-4765
C 10 до 20 в рабочие дни (время московское)

Техническая поддержка

Контактные данные специалистов

Дизайн форумов

IPB 3.x ¦ IPB 2.x

Бесплатные шаблоны

IPB 3.2 – 3.4 ¦ IPB 3.1 ¦ IPB 3.0 ¦ IPB 2.2 – 2.3 ¦ IPB 2.1 ¦ Клипарт
Лицензия на использование ¦ Ваша поддержка ¦ О проекте
Copyright © 2005-2016 IPBSkins.ru Team
При копировании материалов с сайта
прямая ссылка на источник обязательна