Помогите найти тему, где из – за того что адрес главной страницы форума выглядел как forum/index.php?act=idx

Не было индексации.

По поиску ничего не находится. Или помогите избавиться от ?act=idx

Изменено 1 января 200916 г пользователем olaa

Может стоит поставить ЧПУ (PHP > HTML) от Urisoft ?

http://ipbskins.ru/forum/topic2005.html

Будет как здесь.

 

Правда, тогда вылезает main.html, от которого тут мы с трудом, но не окончательно, избавились.

Может не в этой теме нужно было задавать вопрос но все же.....

Почему некоторые ссылки форума выглядят как /forum/index.php?showtopic=123

а некоторые /forum/index.php?showtopic=32&st=0

Почему адреса страниц отличаются - одна тема с таким адресом, другая с более длинным?

Это дубли. Каждой странице форум назначает несколько адресов.

/forum/index.php?showtopic=32 - нормальный адрес темы

/forum/index.php?showtopic=32&st=0 - адрес первой страницы темы.

Поскольку это одно и то же, дубль надо закрывать в роботс txt

Disallow: /*act=SF&s=&f

Disallow: /*?s=

Disallow: /*s0.html

Disallow: /*st=

Disallow: /*pid=

Disallow: /*?start=

Вот только небольшая часть запретов из robots.txt этого сайта.

Созданы для исключения дублей.

насколько мне известно символ * актуален лишь для яндекс бота

Не только.

Гугль тоже слушается.

Disallow: /*st=

Этак же мы закроем все страницы темы, кроме первой. Раве не стоит чётче писать:

Disallow: /*st=0

? :)

Все страницы, кроме первой, имеют с чпу другие адреса

Я там перепутала

Disallow: /*s0.html - это запрет дубля первой страницы

А Disallow: /*st= запрещает не помню уже чего.

Обнаруживаю дубли, тут же запрещаю.

В итоге в индексе их почти нет. Все чисто. А если бы запретов не было совсем, минимум 60 000 url болталось бы в индексе.

Более 90-95% – мусор...

Тогда ясно, спасибо :)

Наверно гугл сведет меня с ума

Теперь он индексирует вот так

showtopic=154&st=0&p=969&

showtopic=154&st=0&p=970&

showtopic=154&st=0&p=963&

То есть это каждое сообщение темы - так и должно быть или Disallow: /*st=0 должно было закрыть эти ссылки и достаточно индексации вида showtopic=154 ?

 

Еще хочу добавить что проиндексировав страницу вида _http://www.мойсайт.com/forum/index.php?act=idx именно с ?act=idx гугл стал чаще заходить на форум. Хотя возможно что он стал лишь видеть только те ссылки форума, которые есть на главной странице mkportal - (новости форума, последнии темы). Но ведь стал видеть!

Изменено 19 января 200916 г пользователем olaa

Каждое сообщение темы не должно быть.

Запретите &p=

Если посмотрите мой роботс, увидите, с каким трудом я избавлялась от дублей :)

 

Гугль приручить просто. Но надо добиться, чтобы он ходил по внутренним адресам и не индексировал дубли.

Полный роботс для ЧПУ

User-agent: *

Disallow: /*?act=module&module=gallery

Disallow: /*?autocom=tags

Disallow: /forum/index.php

Disallow: /forum/index.html

Disallow: /clipart/index.html

Disallow: /*03&id

Disallow: /*lofiversion

Disallow: /*ipbskins.ru

Disallow: /*?s=

Disallow: /*?automodu...

Disallow: /*?act=dscr...

Disallow: /http

Disallow: /banners

Disallow: /*ptopic

Disallow: /*act=SF&s=&f

Disallow: /*main.html

Disallow: /*s0.html

Disallow: /*st=

Disallow: /*pid=

Disallow: /*?start=

Disallow: /*Print

Disallow: /*print

Disallow: /forum/user

Disallow: /forum/User

Disallow: /*UserCP&CODE

Disallow: /forum/?

Disallow: /*js

Disallow: /*tags/.html

Disallow: /*style_images

Disallow: /*java

Disallow: /forum/cache

Disallow: /*?showuser

Disallow: /*showuser

Disallow: /*?act=dscript

Disallow: /*?Showuser

Disallow: /*?act=act=attach

Disallow: /*?act=act=Attach

Disallow: /*aboutme&mid

Disallow: /*?act=calendar

Disallow: /*?act=Calendar

Disallow: /*?act=login

Disallow: /*?act=Login

Disallow: /*?act=post

Disallow: /*?act=reg

Disallow: /*?act=Reg

Disallow: /*?act=online

Disallow: /*?act=Online

Disallow: /*?act=members

Disallow: /*?act=Members

Disallow: /*?act=help

Disallow: /*?act=Help

Disallow: /*?act=search

Disallow: /*?act=Search

Disallow: /*?act=forward

Disallow: /*?act=Forward

Disallow: /*?act=mail

Disallow: /*?act=Mail

Disallow: /*?act=boardrules

Disallow: /*?act=report

Disallow: /*?act=chat

Disallow: /*?act=msg

Disallow: /*?act=usercp

Disallow: /*?act=Usercp

Disallow: /*?act=profile

Disallow: /*?act=track

Disallow: /*?act=stats

Disallow: /*?act=Stats

Disallow: /*?act=attach

Disallow: /*?act=legends

Disallow: /*?act=mmod

Disallow: /*?act=warn

Disallow: /*?act=task

Disallow: /*?act=findpost

Disallow: /*?act=paysubs

Disallow: /*?&setskin

Disallow: /*view=getnewpost$

Disallow: /*view=getlastpost$

Disallow: /*view=old$

Disallow: /*view=new$

Disallow: /*view=getfirst$

Disallow: /*view=getprevious$

Disallow: /*view=getnext$

Disallow: /*view=getlast$

Disallow: /*mode=linear

Disallow: /*mode=threaded

Disallow: /*mode=linearplus

Disallow: /*&p=

Disallow: /*?p=

Disallow: /*&gopid=

Disallow: /*?gopid=

Disallow: /*&hl=

Disallow: /*?hl=

Disallow: /*&showtopic

Disallow: /*?showtopic

Disallow: /*&show=nextoldest

Disallow: /*&show=nextnewest

Disallow: /*&show=lastcomment

Disallow: /*&show=newcomment

Disallow: /*&show=comment

Disallow: /*slideshow

Disallow: /*&req=search

Disallow: /*automodule=gallery

Disallow: /*findlink

Disallow: /*reportimage

Disallow: /*postcomment

Disallow: /*req=syndicate

Disallow: /javascript

Disallow: /lofiversion

Это мой роботс :D

Вы даже это не догадались убрать:

Disallow: /*ipbskins.ru

(закрытие дублированного url в какой-то ссылке из файлового архива)

 

Какой смысл его было здесь публиковать, когда каждый посмотреть может и так?

 

У меня глюки возникают, уж не знаю отчего, поэтому там много лишнего.

+ есть специфика под моды.

 

Каждый должен свой роботс составлять.

Не только на основе моего, но и на основе рекомендаций из хелпов Яндекса.

 

Зы.

Пост тупой.

Может это просто спамер и отвечала зря.

Да нет, Fisana, я не спамер, это раз.

А разве я сказал, что это мой роботс? У меня совсем другой роботс.

Роботс скинул для новичков, которые не знаю, что нужно набрать domain.ru/robots.txt

Тогда прошу прощения, если не спамер.

Спамеры иногда повторяют посты. Думала, может и роботс научились постить :D

Там правда много лишнего.

И при ЧПУ от urisoft, если форум без компонентов, многое автоматически закроется в htaccess, если выполнить инструкцию и прикрыть служебные адреса, включающие в url "ipb".

И если даже компоненты есть, можно в них тоже сделать ЧПУ нормальный.

 

А тут мы просто сразу не сделали, все с ipb открыто, приходится в роботсе кусками закрывать.

Понятно.

Я по закрывал у себя только дубли и лофаверсион.