August 28, 201015 yr Помогите пожалуйста с robots.txt, не могу разобраться...Вообщем у меня стоит сайт и форум. сайт на движке(Joomla), форум(IPB). На форуме стоит мод (DB23) Google SiteMap Generator.Сайт лежит в корне, форум в директории /forum/.Вопрос №1: robots.txt в какой директории должен лежать? В корне или /forum/, или там и там?Вопрос №2: в robots.txt что прописать используя мод (DB23) Google SiteMap Generator? Sitemap: а дальше какой путь на какой файл?Вопрос №3: какой адресс в robots.txt прописать? www.mysite.ru или www.mysite.ru/forum/ или оба прописать? что бы поисковики видели как главный адресс. Простите что такое спрашиваю, читал статьи но так ничего и не понял. Помогите пожалуйста, буду очень Вам признателен.Спасибо.
August 28, 201015 yr 1. В корне сайта2. В роботсе нужно закрыть дубли и служебные страницы. Про путь не поняла. Посмотрите наш роботс. ipbskins.ru/robots.txt3. В роботсе прописать основное зеркало сайта в качестве хоста
August 28, 201015 yr Author 1. В корне сайта2. В роботсе нужно закрыть дубли и служебные страницы. Про путь не поняла. Посмотрите наш роботс. ipbskins.ru/robots.txt3. В роботсе прописать основное зеркало сайта в качестве хоста 1. Тоесть robots.txt положить только в www.mysite? в www.mysite/forum/ не нужно?2. После установки мода, нужно в robots.txt прописать Sitemap: ..../.....xml чтобы гугл видел карту, и в гугле в инструментах вебмастеров нужно добавить карту. А вот что именно пропсиать я безпонятия...3. Тоесть www.mysite.ru?
August 28, 201015 yr 1. Да2. Советую для начала почитать, что такое robots.txtВ FAQ Google и Yandex.3. Без понятия, какое у Вас основное зеркало. Но ошибка может привести к выпадению сайта из индекса в Яндексе.Опять же, все написано в FAQ.
August 28, 201015 yr Author 1. Да2. Советую для начала почитать, что такое robots.txtВ FAQ Google и Yandex.3. Без понятия, какое у Вас основное зеркало. Но ошибка может привести к выпадению сайта из индекса в Яндексе.Опять же, все написано в FAQ. Я читал, под данным модом написали "После установки мода, нужно в robots.txt прописать Sitemap: ..../.....xml чтобы гугл видел карту, и в гугле в инструментах вебмастеров нужно добавить карту. А вот что именно пропсиать я безпонятия..." как я понял там указывается такой путь в моем случае: Sitemap: http://www.example.com/forum/sitemap.xml, так же где-то писалось что нужно указывать вместо "sitemap.xml" "siteindex.xml". Читал про ситемап и роботс, но так ничего не понял что нужно указывать... Edited August 28, 201015 yr by boltuk
August 28, 201015 yr Я не очень понимаю связь.Нужно создать роботс, закрыв от индексации все лишнее.Затем сделать сайтмэп послк того, как оптимизируете форум в том числе и с помощью роботс.Отправить сайтмэп в Гугль или Яндекс, указав путь к нему.
August 28, 201015 yr Author Я не очень понимаю связь.Нужно создать роботс, закрыв от индексации все лишнее.Затем сделать сайтмэп послк того, как оптимизируете форум в том числе и с помощью роботс.Отправить сайтмэп в Гугль или Яндекс, указав путь к нему. Это я уже все сделал, создал ситемап с помощью данного модав((DB23) Google SiteMap Generator), После чего нужно прописать следующие строки в robots.txt: Sitemap: "http://www.example.ru/forum/.xml", а вот что вписать "sitemap.xml" или "siteindex.xml". После установки мода нету ни того файла ни другого и правильна ли директория /forum/? Edited August 28, 201015 yr by boltuk
August 28, 201015 yr В конце, после всех строк с disallow впиши:Sitemap: http:///indexsitemap.xml После установки мода нету ни того файла ни другого и правильна ли директория /forum/?Чтобы карта сгенерировалась надо запустить задачу.
August 29, 201015 yr Author В конце, после всех строк с disallow впиши:Sitemap: http://<путь к форуму>/indexsitemap.xml Чтобы карта сгенерировалась надо запустить задачу.Мод делает несколько хмл-архивов и потом их сшивает - где-то читал... Вот код indexsitemap.xml:<?xml version="1.0" encoding="UTF-8" ?> - <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> - <sitemap> <loc>http://www.mysite.ru/forum/userssitemap.xml</loc> <lastmod>2010-08-28T07:20:10+00:00</lastmod> </sitemap> </sitemapindex> Тоетсь будет правильно если я укажу Sitemap: http://<путь к форуму>/indexsitemap.xml? Edited August 29, 201015 yr by boltuk
August 29, 201015 yr Мод делает несколько хмл-архивов и потом их сшивает - где-то читал...Там функция такая есть- записывает в indexsitemap.xml пути ко всем cгенерированным картам. Тоетсь будет правильно если я укажу Sitemap: http:///indexsitemap.xml?Стандарт говорит что да
September 12, 201015 yr такой вопрос...Что не так прописано в robots.txt Файл выглядит User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/js/ Disallow: /public/style_captcha/ Disallow: /public/style_css/ Disallow: /index.php?app=core&module=task Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=messaging Disallow: /index.php?app=members&module=chat Disallow: /index.php?app=members&module=search Disallow: /index.php?app=members&module=search&do=active Disallow: /index.php?&unlockUserAgent=1 Disallow: /*app=core&module=usercp Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*?s= Disallow: /*&s= Host: hookahpro.ru Жду вашей помощи...
September 12, 201015 yr Смотрите что исключено и почему. Этот сайтТИЦ 375Страниц в поиске 6428Внешних ссылок на страницы сайта 1295608Время последнего посещения сайта роботом 10.09.2010Загружено роботом 95718Исключено роботом 30Сравните со своими данными. У нас загружено в 15 раз больше, чем в индексе. И это нормально.С изъятием/исправлением исключенных борюсь постоянно.
September 12, 201015 yr В роботсе ничего лишнего не запрещено.Даже наоборот....Профили пользователей, календарь и много всего, что не содержит контента, надо закрыть
Помогите пожалуйста с robots.txt, не могу разобраться...
Вообщем у меня стоит сайт и форум. сайт на движке(Joomla), форум(IPB). На форуме стоит мод (DB23) Google SiteMap Generator.
Сайт лежит в корне, форум в директории /forum/.
Вопрос №1: robots.txt в какой директории должен лежать? В корне или /forum/, или там и там?
Вопрос №2: в robots.txt что прописать используя мод (DB23) Google SiteMap Generator? Sitemap: а дальше какой путь на какой файл?
Вопрос №3: какой адресс в robots.txt прописать? www.mysite.ru или www.mysite.ru/forum/ или оба прописать? что бы поисковики видели как главный адресс.
Простите что такое спрашиваю, читал статьи но так ничего и не понял. Помогите пожалуйста, буду очень Вам признателен.
Спасибо.