Помогите с robots.txt - Дизайн и модификация Invision Power Board

Перейти к содержимому

 

Правила раздела

Здесь обсуждаются проблемы поисковой оптимизации и индексирования форумов.
Если зашли сюда случайно, пожалуйста, не оффтопьте и обратите внимание на другие разделы.
Оформление форумов, включая верстку скинов.
Настройка форумов, установка и администрирование.
Размещение рекламы на форумах.
Техническая поддержка наших скинов и модов.

СвернутьПрикрепленные теги

Теги не найдены

  • 4 Страниц +
  • 1
  • 2
  • 3
  • Последняя »
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

Помогите с robots.txt

#1 Пользователь не на сайте   boltuk ответил: »

 
 
  • Newbie
  • *
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 5
  • Регистрация: 15-Декабрь 08
  • Репутация: 0
  • IPB version:2.3.x
 

Отправлено 28 Август 2010 - 20:59

Помогите пожалуйста с robots.txt, не могу разобраться...
Вообщем у меня стоит сайт и форум. сайт на движке(Joomla), форум(IPB). На форуме стоит мод (DB23) Google SiteMap Generator.
Сайт лежит в корне, форум в директории /forum/.
Вопрос №1: robots.txt в какой директории должен лежать? В корне или /forum/, или там и там?
Вопрос №2: в robots.txt что прописать используя мод (DB23) Google SiteMap Generator? Sitemap: а дальше какой путь на какой файл?
Вопрос №3: какой адресс в robots.txt прописать? www.mysite.ru или www.mysite.ru/forum/ или оба прописать? что бы поисковики видели как главный адресс.

Простите что такое спрашиваю, читал статьи но так ничего и не понял. Помогите пожалуйста, буду очень Вам признателен.
Спасибо.
0

#2 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть блог
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 190
  • Регистрация: 21-Ноябрь 05
  • Репутация: 695
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 28 Август 2010 - 21:21

1. В корне сайта
2. В роботсе нужно закрыть дубли и служебные страницы. Про путь не поняла. Посмотрите наш роботс. ipbskins.ru/robots.txt
3. В роботсе прописать основное зеркало сайта в качестве хоста
1

#3 Пользователь не на сайте   boltuk ответил: »

 
 
  • Newbie
  • *
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 5
  • Регистрация: 15-Декабрь 08
  • Репутация: 0
  • IPB version:2.3.x
 

Отправлено 28 Август 2010 - 21:32

Просмотреть сообщениеFisana 28 Август 2010 - 21:21 сказал(а):

1. В корне сайта
2. В роботсе нужно закрыть дубли и служебные страницы. Про путь не поняла. Посмотрите наш роботс. ipbskins.ru/robots.txt
3. В роботсе прописать основное зеркало сайта в качестве хоста


1. Тоесть robots.txt положить только в www.mysite? в www.mysite/forum/ не нужно?
2. После установки мода, нужно в robots.txt прописать Sitemap: ..../.....xml чтобы гугл видел карту, и в гугле в инструментах вебмастеров нужно добавить карту. А вот что именно пропсиать я безпонятия...
3. Тоесть www.mysite.ru?
0

#4 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть блог
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 190
  • Регистрация: 21-Ноябрь 05
  • Репутация: 695
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 28 Август 2010 - 22:09

1. Да
2. Советую для начала почитать, что такое robots.txt
В FAQ Google и Yandex.
3. Без понятия, какое у Вас основное зеркало. Но ошибка может привести к выпадению сайта из индекса в Яндексе.
Опять же, все написано в FAQ.
0

#5 Пользователь не на сайте   boltuk ответил: »

 
 
  • Newbie
  • *
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 5
  • Регистрация: 15-Декабрь 08
  • Репутация: 0
  • IPB version:2.3.x
 

Отправлено 28 Август 2010 - 22:32

Просмотреть сообщениеFisana 28 Август 2010 - 22:09 сказал(а):

1. Да
2. Советую для начала почитать, что такое robots.txt
В FAQ Google и Yandex.
3. Без понятия, какое у Вас основное зеркало. Но ошибка может привести к выпадению сайта из индекса в Яндексе.
Опять же, все написано в FAQ.


Я читал, под данным модом написали "После установки мода, нужно в robots.txt прописать Sitemap: ..../.....xml чтобы гугл видел карту, и в гугле в инструментах вебмастеров нужно добавить карту. А вот что именно пропсиать я безпонятия..." как я понял там указывается такой путь в моем случае: Sitemap: http://www.example.c...rum/sitemap.xml, так же где-то писалось что нужно указывать вместо "sitemap.xml" "siteindex.xml". Читал про ситемап и роботс, но так ничего не понял что нужно указывать...

Сообщение изменено: boltuk (28 Август 2010 - 22:42)

0

#6 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть блог
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 190
  • Регистрация: 21-Ноябрь 05
  • Репутация: 695
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 28 Август 2010 - 23:02

Я не очень понимаю связь.
Нужно создать роботс, закрыв от индексации все лишнее.
Затем сделать сайтмэп послк того, как оптимизируете форум в том числе и с помощью роботс.
Отправить сайтмэп в Гугль или Яндекс, указав путь к нему.
0

#7 Пользователь не на сайте   boltuk ответил: »

 
 
  • Newbie
  • *
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 5
  • Регистрация: 15-Декабрь 08
  • Репутация: 0
  • IPB version:2.3.x
 

Отправлено 28 Август 2010 - 23:10

Просмотреть сообщениеFisana 28 Август 2010 - 23:02 сказал(а):

Я не очень понимаю связь.
Нужно создать роботс, закрыв от индексации все лишнее.
Затем сделать сайтмэп послк того, как оптимизируете форум в том числе и с помощью роботс.
Отправить сайтмэп в Гугль или Яндекс, указав путь к нему.


Это я уже все сделал, создал ситемап с помощью данного модав((DB23) Google SiteMap Generator), После чего нужно прописать следующие строки в robots.txt: Sitemap: "http://www.example.ru/forum/.xml", а вот что вписать "sitemap.xml" или "siteindex.xml". После установки мода нету ни того файла ни другого и правильна ли директория /forum/?

Сообщение изменено: boltuk (28 Август 2010 - 23:11)

0

#8 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 721
  • Регистрация: 20-Март 09
  • Репутация: 2 269
  • IPB version:3.1.x
 

Отправлено 28 Август 2010 - 23:43

В конце, после всех строк с disallow впиши:
Sitemap: http://<путь к форуму>/indexsitemap.xml

Цитата

После установки мода нету ни того файла ни другого и правильна ли директория /forum/?

Чтобы карта сгенерировалась надо запустить задачу.
1

#9 Пользователь не на сайте   boltuk ответил: »

 
 
  • Newbie
  • *
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 5
  • Регистрация: 15-Декабрь 08
  • Репутация: 0
  • IPB version:2.3.x
 

Отправлено 29 Август 2010 - 08:24

Просмотреть сообщениеsiv1987 28 Август 2010 - 23:43 сказал(а):

В конце, после всех строк с disallow впиши:
Sitemap: http://<путь к форуму>/indexsitemap.xml


Чтобы карта сгенерировалась надо запустить задачу.

Мод делает несколько хмл-архивов и потом их сшивает - где-то читал...

Вот код indexsitemap.xml:
<?xml version="1.0" encoding="UTF-8" ?> 
- <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
- <sitemap>
  <loc>http://www.mysite.ru/forum/userssitemap.xml</loc> 
  <lastmod>2010-08-28T07:20:10+00:00</lastmod> 
  </sitemap>
  </sitemapindex>


Тоетсь будет правильно если я укажу Sitemap: http://<путь к форуму>/indexsitemap.xml?

Сообщение изменено: boltuk (29 Август 2010 - 15:06)

0

#10 Пользователь не на сайте   siv1987 ответил: »

 
 
  • Advanced
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 8 721
  • Регистрация: 20-Март 09
  • Репутация: 2 269
  • IPB version:3.1.x
 

Отправлено 29 Август 2010 - 20:26

Цитата

Мод делает несколько хмл-архивов и потом их сшивает - где-то читал...

Там функция такая есть- записывает в indexsitemap.xml пути ко всем cгенерированным картам.

Цитата

Тоетсь будет правильно если я укажу Sitemap: http://<путь к форуму>/indexsitemap.xml?

Стандарт говорит что да
1

#11 Пользователь не на сайте   Семёныч ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 176
  • Регистрация: 21-Июль 10
  • Репутация: 3
  • IPB version:3.3.x
 

Отправлено 12 Сентябрь 2010 - 14:04

такой вопрос...
Что не так прописано в robots.txt

-IMG-

Файл выглядит
User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/js/
Disallow: /public/style_captcha/
Disallow: /public/style_css/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&amp;module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Host: hookahpro.ru


Жду вашей помощи...
0

#12 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть блог
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 190
  • Регистрация: 21-Ноябрь 05
  • Репутация: 695
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 12 Сентябрь 2010 - 14:11

Смотрите что исключено и почему.

Этот сайт

Цитата

ТИЦ 375
Страниц в поиске 6428
Внешних ссылок на страницы сайта 1295608
Время последнего посещения сайта роботом 10.09.2010
Загружено роботом 95718
Исключено роботом 30

Сравните со своими данными. У нас загружено в 15 раз больше, чем в индексе. И это нормально.
С изъятием/исправлением исключенных борюсь постоянно.
0

#13 Пользователь не на сайте   Семёныч ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 176
  • Регистрация: 21-Июль 10
  • Репутация: 3
  • IPB version:3.3.x
 

Отправлено 12 Сентябрь 2010 - 14:14

Вот где то так...
-IMG-

Где в файле что не так(((
0

#14 Пользователь не на сайте   Fisana ответил: »

 
 
  • На PM не отвечаю
  • Смотреть блог
  • Смотреть галерею
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: IPB Skins Team
  • Сообщений: 13 190
  • Регистрация: 21-Ноябрь 05
  • Репутация: 695
  • Откуда:Из интернетов
  • IPB version:3.1.x
 

Отправлено 12 Сентябрь 2010 - 14:15

Смотрите что запрещено.
Если мусор и дубли, туда ему и дорога.
0

#15 Пользователь не на сайте   Семёныч ответил: »

 
 
  • Advanced
  • ***
  • Insert nick to fast reply form
  • Quote selected text to fast reply form
  • Группа: Пользователи
  • Сообщений: 176
  • Регистрация: 21-Июль 10
  • Репутация: 3
  • IPB version:3.3.x
 

Отправлено 12 Сентябрь 2010 - 14:15

Какие строки в роботе лишние??

Вроде не дубли, да и не мусор...
0

Сообщить об этой теме:


  • 4 Страниц +
  • 1
  • 2
  • 3
  • Последняя »
  • Вы не можете создавать новые темы
  • Вы не можете отвечать в этой теме

1 пользователей читают эту тему
0 зарегистрированных, 1 гостей, 0 скрытых


Контактная информация

Вопросы по работе сайта

+7 (917) 501-4765
C 10 до 20 в рабочие дни (время московское)

Техническая поддержка

Контактные данные специалистов

Дизайн форумов

IPB 3.x ¦ IPB 2.x

Бесплатные шаблоны

IPB 3.2 – 3.4 ¦ IPB 3.1 ¦ IPB 3.0 ¦ IPB 2.2 – 2.3 ¦ IPB 2.1 ¦ Клипарт
Лицензия на использование ¦ Ваша поддержка ¦ О проекте
Copyright © 2005-2016 IPBSkins.ru Team
При копировании материалов с сайта
прямая ссылка на источник обязательна