Помогите с robots.txt

[boltuk 0]

Помогите пожалуйста с robots.txt, не могу разобраться...

Вообщем у меня стоит сайт и форум. сайт на движке(Joomla), форум(IPB). На форуме стоит мод (DB23) Google SiteMap Generator.

Сайт лежит в корне, форум в директории /forum/.

Вопрос №1: robots.txt в какой директории должен лежать? В корне или /forum/, или там и там?

Вопрос №2: в robots.txt что прописать используя мод (DB23) Google SiteMap Generator? Sitemap: а дальше какой путь на какой файл?

Вопрос №3: какой адресс в robots.txt прописать? www.mysite.ru или www.mysite.ru/forum/ или оба прописать? что бы поисковики видели как главный адресс.

 

Простите что такое спрашиваю, читал статьи но так ничего и не понял. Помогите пожалуйста, буду очень Вам признателен.

Спасибо.

[Fisana 700]

1. В корне сайта

2. В роботсе нужно закрыть дубли и служебные страницы. Про путь не поняла. Посмотрите наш роботс. ipbskins.ru/robots.txt

3. В роботсе прописать основное зеркало сайта в качестве хоста

[boltuk 0]

1. В корне сайта

2. В роботсе нужно закрыть дубли и служебные страницы. Про путь не поняла. Посмотрите наш роботс. ipbskins.ru/robots.txt

3. В роботсе прописать основное зеркало сайта в качестве хоста

 

1. Тоесть robots.txt положить только в www.mysite? в www.mysite/forum/ не нужно?

2. После установки мода, нужно в robots.txt прописать Sitemap: ..../.....xml чтобы гугл видел карту, и в гугле в инструментах вебмастеров нужно добавить карту. А вот что именно пропсиать я безпонятия...

3. Тоесть www.mysite.ru?

[Fisana 700]

1. Да

2. Советую для начала почитать, что такое robots.txt

В FAQ Google и Yandex.

3. Без понятия, какое у Вас основное зеркало. Но ошибка может привести к выпадению сайта из индекса в Яндексе.

Опять же, все написано в FAQ.

[boltuk 0]

1. Да

2. Советую для начала почитать, что такое robots.txt

В FAQ Google и Yandex.

3. Без понятия, какое у Вас основное зеркало. Но ошибка может привести к выпадению сайта из индекса в Яндексе.

Опять же, все написано в FAQ.

 

Я читал, под данным модом написали "После установки мода, нужно в robots.txt прописать Sitemap: ..../.....xml чтобы гугл видел карту, и в гугле в инструментах вебмастеров нужно добавить карту. А вот что именно пропсиать я безпонятия..." как я понял там указывается такой путь в моем случае: Sitemap: http://www.example.com/forum/sitemap.xml, так же где-то писалось что нужно указывать вместо "sitemap.xml" "siteindex.xml". Читал про ситемап и роботс, но так ничего не понял что нужно указывать...

Edited August 28, 2010 by boltuk

[Fisana 700]

Я не очень понимаю связь.

Нужно создать роботс, закрыв от индексации все лишнее.

Затем сделать сайтмэп послк того, как оптимизируете форум в том числе и с помощью роботс.

Отправить сайтмэп в Гугль или Яндекс, указав путь к нему.

[boltuk 0]

Я не очень понимаю связь.

Нужно создать роботс, закрыв от индексации все лишнее.

Затем сделать сайтмэп послк того, как оптимизируете форум в том числе и с помощью роботс.

Отправить сайтмэп в Гугль или Яндекс, указав путь к нему.

 

Это я уже все сделал, создал ситемап с помощью данного модав((DB23) Google SiteMap Generator), После чего нужно прописать следующие строки в robots.txt: Sitemap: "http://www.example.ru/forum/.xml", а вот что вписать "sitemap.xml" или "siteindex.xml". После установки мода нету ни того файла ни другого и правильна ли директория /forum/?

Edited August 28, 2010 by boltuk

[siv1987 2,630]

В конце, после всех строк с disallow впиши:

Sitemap: http:///indexsitemap.xml

 

После установки мода нету ни того файла ни другого и правильна ли директория /forum/?

Чтобы карта сгенерировалась надо запустить задачу.

[boltuk 0]

В конце, после всех строк с disallow впиши:

Sitemap: http://<путь к форуму>/indexsitemap.xml

 

 

Чтобы карта сгенерировалась надо запустить задачу.

Мод делает несколько хмл-архивов и потом их сшивает - где-то читал...

 

Вот код indexsitemap.xml:

<?xml version="1.0" encoding="UTF-8" ?> 
- <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
- <sitemap>
 <loc>http://www.mysite.ru/forum/userssitemap.xml</loc> 
 <lastmod>2010-08-28T07:20:10+00:00</lastmod> 
 </sitemap>
 </sitemapindex>

 

Тоетсь будет правильно если я укажу Sitemap: http://<путь к форуму>/indexsitemap.xml?

Edited August 29, 2010 by boltuk

[siv1987 2,630]

Мод делает несколько хмл-архивов и потом их сшивает - где-то читал...

Там функция такая есть- записывает в indexsitemap.xml пути ко всем cгенерированным картам.

 

Тоетсь будет правильно если я укажу Sitemap: http:///indexsitemap.xml?

Стандарт говорит что да

[Семёныч 3]

такой вопрос...

Что не так прописано в robots.txt

 

 

Файл выглядит

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/js/
Disallow: /public/style_captcha/
Disallow: /public/style_css/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Host: hookahpro.ru

 

Жду вашей помощи...

[Fisana 700]

Смотрите что исключено и почему.

 

Этот сайт

ТИЦ 375

Страниц в поиске 6428

Внешних ссылок на страницы сайта 1295608

Время последнего посещения сайта роботом 10.09.2010

Загружено роботом 95718

Исключено роботом 30

Сравните со своими данными. У нас загружено в 15 раз больше, чем в индексе. И это нормально.

С изъятием/исправлением исключенных борюсь постоянно.

[Семёныч 3]

Вот где то так...

 

Где в файле что не так(((

[Fisana 700]

Смотрите что запрещено.

Если мусор и дубли, туда ему и дорога.

[Семёныч 3]

Какие строки в роботе лишние??

 

Вроде не дубли, да и не мусор...