Индексация сайта. Проблемы...кажется!

[discusfish 0]

сайт http://discusfish.ru

версия движка форума 2.3.4.

 

По рекомендации на этом форуме взял из этого источника РоботсТхт. Установил примерно 2 недели назад. 12 лет у меня вообще не было файла роботс.тхт на сайте.

 

После этого произошли 2 события:

1. тиц поднялся с 70 до 120. Разумеется, это радует. (но не факт, что связано с установкой роботс.тхт)

2. Выпало из индекса очень большое кол-во страниц. Было около 9 000 до установки роботс.тхт. Вчера стало чуть более 3 000.

 

Подумал поначалу, что как раз сработал запрет на индексирование всяких дублей, календарей и т.д.

Стал в яндекс-вебмастере щелкать по исключенным страницам. Первые несколько сотен были Изображения. Не знаю хорошо ли это, или плохо?

А вот дальше стали исключаться нормальные форумные страницы.

 

Сделал снимок экрана. До красной черты это файлы изображений...далее страница календаря...а вот дальше как раз то, о чем я выше, - несколько тысяч форумных страниц попали под запрет.

 

Подскажите, пожалуйста...

 

1. Что я сделал неправильно? (файл роботс не изменял...скопировал то, что по рекомендуемой ссылке...только внизу адрес сайта проставил)

2. Что надо сделать, чтоб исправить положение?

 

Спасибо.

[Ritsuka 540]

"findpost" - это не форумная страница. Это ссылка-указатель на конкретный пост какой-либо темы, по сути являющаяся дублем ссылки "showtopic".

 

Допустим, в этой теме 2 поста. Ссылка на нее будет: /forum/index.php?showpost=10094. Ссылка на каждый пост в ней -

/forum/index.php?findpost=65763 и /forum/index.php?findpost=65768. Все три ссылки ведут на одну и ту же страницу, последние две - запрещены в robots.txt.

 

В общем, это у вас дубли выпадают. Задано это строкой:

 

Disallow: /*?act=findpost

[discusfish 0]

"findpost" - это не форумная страница. Это ссылка-указатель на конкретный пост какой-либо темы, по сути являющаяся дублем ссылки "showtopic".

 

Да-да...это я уже успел вычислить, что страница, открытая с форума, имеет в своем адресе showtopic...а те, которые с findpost, - это другое... Но! -

Допустим, в этой теме 2 поста. Ссылка на нее будет: /forum/index.php?showpost=10094. Ссылка на каждый пост в ней -

/forum/index.php?findpost=65763 и /forum/index.php?findpost=65768. Все три ссылки ведут на одну и ту же страницу, последние две - запрещены в robots.txt.

 

Но..вы говорите сейчас об отдельных Постах(!), из которых состоит обычная форумная страница. При кликании в вебмастере яндекса на исключенные страницы на экране вижу не посты, а именно полноценную страницу форума..с разницей лишь в том, что в адресной строке вместе с showtopic фигурирует дополнительно еще какое-то длинное продолжение в адресе страницы

Чтоб не быть голословным...кликаю сейчас в вебмастере на первой же после Сalendar исключенной странице (красная черта в скрине выше) и получаю вариант 1. Эту же страницу, если открываю обычным способом, то получаю Вариант 2.

 

Что значит длинный "хвост" после showtopic мне, наверное, и не обязательно знать..)))... (наверное, так Надо! )))...

Меня смущает о чем я выше, - почему открываются при щелкании на исключенных страницах не Посты, а именно цельные форумные Страницы?...которые визуально 1 в 1 с "правильными" страницами, пока не вглядишься в длинную адресную строку.

 

Так должно быть?

[Ritsuka 540]

Да. Я же говорю вам - "ссылка на каждый пост в ней". Т.е. это не ссылка на отдельный пост, а ссылка на нужную страницу той же самой темы с якорем нужного поста.

[discusfish 0]

Т.е. это не ссылка на отдельный пост, а ссылка на нужную страницу той же самой темы с якорем нужного поста.

 

Несколько раз пытался прочувствовать "а в чем же разница-то?!"..с "правильной" страницей...)).. Ну, да ладно...неважно...все равно за полчаса не разберусь в тонкостях работы движка форума... (сравниваю с вордпрессом..там несколько иначе все работает...хотя, такое сравнение некорректно)..

 

Мне главное знать, что все нормально с этим роботс.тхт. Судя по вашему ответу - Да...нормально..

 

Если что-то все же лучше бы исправить в том универсальном роботс.тхт по ссылке выше, - скажите!...буду признателен за совет.

[Ritsuka 540]

Да тот robots.txt собственно отсюда родом, если что. Автор поста там - Fisana :)

 

И она всяко лучше меня в SEO разбирается.

[Fisana 700]

findpost и прочее - это дубли. Если выпали, то хорошо.

 

В сео я не разбираюсь. Просто в одиночку пару лет поднимала этот сайт и пришлось... А теперь, увы, все меньше времени на то, чтобы быть в теме.

[discusfish 0]

Спасибо за ответы. Успокоили. )

 

Выше писал, что 2 недели как роботс.тхт разместил...очень скоро тиц скаканул с 70 (на этом уровне держался несколько лет) до 120. Примерно в это же время добавлял на сайт(!) несколько новых статей.

Резкий рост ТИЦ на совпадение как-то не похож... Причиной или приведение в порядок сайта (запрет на индексирование ненужного), или добавление новых статей (примерно 10% по отношению к имеющимся на сайте).

 

Что вероятнее? ..вызвало рост ТИЦ... - внедрение роботс.тхт или очередное небольшое обновление сайта новыми статьями? (Просто ваше мнение...)

[Fisana 700]

Рост тИЦ никак с индексацией не связан. Яндекс просто меняет алгоритм расчета периодически.

[discusfish 0]

Рост тИЦ никак с индексацией не связан. Яндекс просто меняет алгоритм расчета периодически.

 

При всем моем уважении к вам, Фисана, как к специалисту по всему "около-движковому"...не соглашусь. Тиц - это не только Кто ссылается на тебя...Сколько раз...Где и т.д. Например,продуманные ссылки внутри(!) сайта тоже влияют на тиц, а не только на выдачу конкретной страницы в поске. И еще много чего другого влияет на тиц. Это не предположение мое, а скорее уже факт...или почти факт, - отслеживал сам на своих многочисленных сайтах реакцию робота на разные свои "провокационные" действия. Столько раз совпадения и случайности не могли иметь место.

Последний случай (после многолетнего затишься резко с 70 на 120) я бы однозначно приписал заслугу роботс.тхт...если бы сам же не "омрачил" чистоту эксперимента добавлением новых статей (уникальных, ессно!).

Вот потому и задал постом выше вопрос...просто типа "сбор мнений"... Интересно же кто как считает. ))

[siv1987 2628]

Согласен с Фисаной, ни то ни другое на рост тиц-а не влияет. За внутряк тиц тоже не прибавляется, иначе бы он у всех был по 100500.

 

Наш тематический индекс цитирования (тИЦ) определяет «авторитетность» интернет-ресурсов с учетом качественной характеристики ссылок с других сайтов. Эту качественную характеристику мы называем «весом» ссылки.

http://help.yandex.ru/catalogue/?id=873431

 

При всем моем уважении к вам, Фисана, как к специалисту по всему "около-движковому"...не соглашусь.

Вам конечно никто не запрещает иметь своего собственного мнения, соглашаться с чем-то или нет, но для человека который банально не умеет определить дубли страницы (и не важно какой тип движка ИПБ, ВП или еще какой-то) ваше "не согласие" Фисаной звучит сильно. Тем более что Fisana нет так уж совсем не разбирается в СЕО, 6 лет на мастертолке все же не прошли даром. :)

[discusfish 0]

http://help.yandex.ru/catalogue/?id=873431

 

Да...это все читали...и я в том числе. И точно также, как вы и Фисана, иногда вот также отвечаю совсем новичкам. На практике же не совсем так все обстоит, - иногда информация в первоисточнике слишком краткая...иногда что-то изменилось, но отразить не успели (или же не захотели).

Википедия, к примеру, тоже является той штуковиной, на которую часто ссылаются в спорах.

Вы не находили в ней ошибок? Я находил (в тех областях, где считаю себя специалистом). Хотя, если в целом, то на 99% там все верно (в силу краткости(!);-)

 

Ладно...зря я провоцирую спор. Тема топика о другом была.

Еще раз спасибо всем за ответы по теме.

[discusfish 0]

но для человека который банально не умеет определить дубли страницы (и не важно какой тип движка ИПБ, ВП или еще какой-то)

 

А вот это вы уже зря написали...какой-то стереотипный штамп.. "Раз ты не знаешь как устроен движок твоего авто, - ты не можешь быть хорошим водителем!..и твое мнение о причинах пробок на дорогах и путях их разрешения ничего не стоит...". Аналогия та же.

 

Не разбираюсь потому что никогда не приходилось в это погружаться. Повторюсь, - 12 лет на сайте никакого роботс.тхт не было....+ я никогда не занимался той ерундой, которой вынужденно занимаюсь сейчас (оптимизацией страниц и прочая), - просто писал от души уникальные тексты, не проставляя дубли важных слов...не выводя заголовков, соответствующих ВЧ-ым поисковым запросам и т.д...и тем не менее еще давным давно сайт попал во все существующие каталоги (яндекс..гмод и т.д...и т.п.) и имеет достаточно высокий тиц и пр для своего узкого сектора.

Попробуйте сегодня повторить подобное, просто наполняя сайт контентом..без сео-штучек и прочего "от лукавого".

 

А сейчас я свое время трачу не на важное (наполнение сайта полезным для людей контентом), а вот на эти ушлые штучки, - как сделать так, чтоб проиндексировалось правильно..сделать так, чтоб ГС-ты тебя не обошли, которые занимаются копи-пастом и параллельно пользуются платными услугами сео-шников. И представьте себе, что нормально разобрался в этих темах.

В движке сайта я не разбираюсь...в записях роботс.тхт тоже...и не скрываю этого. Потому и пришел сюда за помощью.

 

Про свистопляску, связанную с тиц-ем упомянул, потому что с некоторых пор не верю в совпадения и случайности. Подозреваю, что вы пока еще верите в них (судя по поверхностным выводам обо мне, основанными на "раз не разбираешься в этом, то..значит и...далее...далеко идущее..).

 

Фисана..никаким боком ..в мыслях не было вас задеть. Не хочу повторяться про тиц...но все не так просто с ним, как определено в "святом писании". И изменения эти я наблюдаю как раз в последние год-два...раньше иначе было (имхо).

Если обидел вас ненароком - простите благодушно...)))

Изменено 14 июня 2012 пользователем discusfish

[Ritsuka 540]

А-а-а-а! А я-то думал, все "митьки"-то да еще во времена заката фидо повымерлися, а оно - оппаньки - воно как. Ходють еще по интернетам и лопочуть по-нашенски еще некоторые кадры. Мобыть и не осознают себя как "митька", да токмо все аттрибуты оного имеют, и разговор ведут художественно, да по простому, по-нашенски, ёлы-палы, наслаждаясь речью плавнотекучею, да слогом немудреным, дык ить оттяжно, то как.

 

А если по существу: пациент, вы на что жалуетесь? Заниматься у себя SEO вместо простого форумного общения вы сами решили. Не знаю, что у вас там стрельнуло - жажда денег заработать с сайта, или гордыня и тщеславие, выраженные в желании по всем запросам быть первым, и всех людей с интернетов к себе позабирать. Возводить SEO в ранг какой-то хитровые*нной науки, в которой вы якобы разбираетесь лучше других - вы тоже сами решили. Ярлыки "недалеких убогих калек" вы на всех развесили, молодца, показали тут всем, кто в доме папаша. Дальше что? Если вы такой умный, зачем было вообще тему открывать и советов у убогих спрашивать? Чтобы покрасоваться? Ок, зачет, покрасовались. Значит, тема исчерпана, закрываю.

[siv1987 2628]

потому что с некоторых пор не верю в совпадения и случайности. Подозреваю, что вы пока еще верите в них

А где-то разве шло речь про совпадения или случайности? Я верю в то что определенно, у тиц есть определение, и любому СЕОшнику оно известно. Я пока еще нигде не встречал каких-то утверждений, доказательств, эксперименты того, что он выдается за уникальные статьи на сайте. Поэтому пока я останусь верен фактами и первоисточнику.

 

судя по поверхностным выводам обо мне

Человек, так яро цепляющийся за пузомерки, кое на что намекает... Тиц вообще призван обеспечить релевантность сайтов в ЯК (цитируя тот же первоисточник) - чем выше тиц, тем выше в каталоге. И на выдачу сам он непосредственно не влияет. Да, его можно назвать косвенным показателем "популярности" сайта. Но иметь хорошую популярности и высокие позиции можно и без него. Конечно, у популярного сайта тиц будет в следствие своей популярности.

 

И изменения эти я наблюдаю как раз в последние год-два...раньше иначе было (имхо).

В последний год столько изменений было в алгоритмах яндекса, что теперь и фазы луны можно считать не за простым совпадением.