Индексация форума в поисковых системах

[olaa 0]

Как и посоветовали, написала на суппорт – через неделю сайт начал появляться в индексе. Правда, из 200 проиндексированных страниц около 170 закрыты роботом. Никогда бы не подумала что столько лишних и пустых ссылок. Яндекс почти живет на сайте – но пока борюсь – индексирует дубли итд.

showtopic=165&mode=linearplus

showtopic=123&mode=linear

showtopic=60&view=getlastpost

showtopic=60&st=0&

Дополняю робот как могу. Теперь Fisana я Вас очень понимаю – у Вас шикарный роботс от ненужных ссылок.

[Fisana 700]

Disallow: /*view=getnewpost$

Disallow: /*view=getlastpost$

Disallow: /*view=old$

Disallow: /*view=new$

Disallow: /*view=getfirst$

Disallow: /*view=getprevious$

Disallow: /*view=getnext$

Disallow: /*view=getlast$

Disallow: /*mode=linear

Disallow: /*mode=threaded

Disallow: /*mode=linearplus

 

И т.д.

 

Я роботс бесконечно правлю.

Для сравнения: летом было 36 000 страниц в индексе Яндекса (хотя многое было и тогда прикрыто, а то было бы гораздо больше).

Сейчас ~4 500

 

Исчезли ошибки в панели вебмастера и вырос поисковый трафик.

Форумы ipb, увы, тяжело оптимизировать. Но труд того стоит.

[olaa 0]

За двое суток яндекс скачал около 400 страниц - они в статусе проиндексированных в вэбмастере но в индексе их еще нет. Правда большая часть там это ссылки которые я уже закрыла роботом - еще раз спасибо Вам Fisana за список выше.

Еще подскажите - как закрыть /forum/index.php?showforum=6 Disallow: /*showforum не закрою ли я весь форум хотя интуацивно догадываюсь что нет.

А еще - нормально ли что в ссылке после слова форум появился /index.php? - ссылка работоспособна но я раньше на других форумах такого не видела.....

 

Дописанно - о ужас - ошибок 1200

forum/ 1223

index.php? 1222

в них showtopic=160&, showtopic=18&

 

Документ запрещен в файле robots.txt 1100

 

100 ошибок HTTP-статус: Ресурс временно перемещён (302) куда попали /forum/index.php?showtopic=138&view=getlastpost :rolleyes:

Изменено 12 февраля 2009 пользователем olaa

[Fisana 700]

Ставьте ЧПУ и копируйте мой роботс :rolleyes:

Ошибки практически исчезнут.

Число ошибок: 24

[Ph-A 395]

Я один из своих новых сайтов продвигаю как сайт без www. Но захотелось, так и просто стало интересно, получится.

Google - все нормально.

 

Яндекс - индекс цитирование был 10 уже практически 20.

Загружено страниц

Было 1. Потом дошло до 7. Сейчас опять упало до 1.

Долго боролся, но победил. Правкой robots.txt и загрузки Sitemap-а, убедил Яндекс, что у меня основной сайт без www. Теперь - число загруженных страниц: 377

Но ТИЦ так и остался 10.

[Fisana 700]

А тИЦ что, у Вас на разных зеркалах различается?

[PROFF89 0]

Ставьте ЧПУ и копируйте мой роботс

не знаю, есть ли смысл в ЧПУ, теги поставил, в тегах смысл есть, по многим запросам можно вывести сайт в топ...

[AlexF_10 0]

Очень важно подставлять поисковику то, что хочет сам админ форума!

 

Вот у меня до сих пор руки до роботса не дошли! :)

 

ps: может подскажите, как объявить в гугле два домена зеркалами?

[Fisana 700]

Направьте их в одну физическую папку, а в htaccess пропишите 301 редирект.

 

Если домены разные (а не вариации с www и без) в тулзах гугля такая склейка не обозначится, но у второстепенного зеркала пропадут внешние ссылки. Они приклеятся к ссылкам основного зеркала.

[AlexF_10 0]

Направьте их в одну физическую папку, а в htaccess пропишите 301 редирект.

 

Если домены разные (а не вариации с www и без) в тулзах гугля такая склейка не обозначится, но у второстепенного зеркала пропадут внешние ссылки. Они приклеятся к ссылкам основного зеркала.

 

Есть 3 разных домена, по которым доступен мой форум, гугл их считает за разные сайты.

С одной стороны, один домен ссылается на другой и передает ему часть pr, но с другой стороны гугл в выдаче их не различает.

 

Пример

[Fisana 700]

Настройка в htaccess 301 редиректа все решит.

[AlexF_10 0]

Настройка в htaccess 301 редиректа все решит.

а можно инструкцию? :)

[Fisana 700]

htaccess редирект

Почитайте лучше первоисточники.Я ими руководствовалась, а сама в этом недостаточно компетентна.

Еще могу показать свой htaccess.

[AlexF_10 0]

Fisana

 

Есть смысл в удалении старых страниц форума из кэша поисковиков?

[Fisana 700]

Я не уверена, что это возможно, даже если скомандовать.

Среди того, что они индексируют на неоптимизированном движке IPB, слишком много дублей. Тысячи страниц нереально вычислить и убрать из кэша.

И они тормозные.

Могут убрать старые страницы, а через какое-ио время высыпать массу давно несуществующих.

И если внешние ссылки есть, могут бесконечно долго не убирать.