boltuk 0 Report post 08/28/2010 06:00 PM Помогите пожалуйста с robots.txt, не могу разобраться...Вообщем у меня стоит сайт и форум. сайт на движке(Joomla), форум(IPB). На форуме стоит мод (DB23) Google SiteMap Generator.Сайт лежит в корне, форум в директории /forum/.Вопрос №1: robots.txt в какой директории должен лежать? В корне или /forum/, или там и там?Вопрос №2: в robots.txt что прописать используя мод (DB23) Google SiteMap Generator? Sitemap: а дальше какой путь на какой файл?Вопрос №3: какой адресс в robots.txt прописать? www.mysite.ru или www.mysite.ru/forum/ или оба прописать? что бы поисковики видели как главный адресс. Простите что такое спрашиваю, читал статьи но так ничего и не понял. Помогите пожалуйста, буду очень Вам признателен.Спасибо. Share this post Link to post Share on other sites
Fisana 699 Report post 08/28/2010 06:22 PM 1. В корне сайта2. В роботсе нужно закрыть дубли и служебные страницы. Про путь не поняла. Посмотрите наш роботс. ipbskins.ru/robots.txt3. В роботсе прописать основное зеркало сайта в качестве хоста 1 Share this post Link to post Share on other sites
boltuk 0 Report post 08/28/2010 06:33 PM 1. В корне сайта2. В роботсе нужно закрыть дубли и служебные страницы. Про путь не поняла. Посмотрите наш роботс. ipbskins.ru/robots.txt3. В роботсе прописать основное зеркало сайта в качестве хоста 1. Тоесть robots.txt положить только в www.mysite? в www.mysite/forum/ не нужно?2. После установки мода, нужно в robots.txt прописать Sitemap: ..../.....xml чтобы гугл видел карту, и в гугле в инструментах вебмастеров нужно добавить карту. А вот что именно пропсиать я безпонятия...3. Тоесть www.mysite.ru? Share this post Link to post Share on other sites
Fisana 699 Report post 08/28/2010 07:10 PM 1. Да2. Советую для начала почитать, что такое robots.txtВ FAQ Google и Yandex.3. Без понятия, какое у Вас основное зеркало. Но ошибка может привести к выпадению сайта из индекса в Яндексе.Опять же, все написано в FAQ. Share this post Link to post Share on other sites
boltuk 0 Report post 08/28/2010 07:33 PM (edited) 1. Да2. Советую для начала почитать, что такое robots.txtВ FAQ Google и Yandex.3. Без понятия, какое у Вас основное зеркало. Но ошибка может привести к выпадению сайта из индекса в Яндексе.Опять же, все написано в FAQ. Я читал, под данным модом написали "После установки мода, нужно в robots.txt прописать Sitemap: ..../.....xml чтобы гугл видел карту, и в гугле в инструментах вебмастеров нужно добавить карту. А вот что именно пропсиать я безпонятия..." как я понял там указывается такой путь в моем случае: Sitemap: http://www.example.com/forum/sitemap.xml, так же где-то писалось что нужно указывать вместо "sitemap.xml" "siteindex.xml". Читал про ситемап и роботс, но так ничего не понял что нужно указывать... Edited August 28, 2010 by boltuk Share this post Link to post Share on other sites
Fisana 699 Report post 08/28/2010 08:03 PM Я не очень понимаю связь.Нужно создать роботс, закрыв от индексации все лишнее.Затем сделать сайтмэп послк того, как оптимизируете форум в том числе и с помощью роботс.Отправить сайтмэп в Гугль или Яндекс, указав путь к нему. Share this post Link to post Share on other sites
boltuk 0 Report post 08/28/2010 08:11 PM (edited) Я не очень понимаю связь.Нужно создать роботс, закрыв от индексации все лишнее.Затем сделать сайтмэп послк того, как оптимизируете форум в том числе и с помощью роботс.Отправить сайтмэп в Гугль или Яндекс, указав путь к нему. Это я уже все сделал, создал ситемап с помощью данного модав((DB23) Google SiteMap Generator), После чего нужно прописать следующие строки в robots.txt: Sitemap: "http://www.example.ru/forum/.xml", а вот что вписать "sitemap.xml" или "siteindex.xml". После установки мода нету ни того файла ни другого и правильна ли директория /forum/? Edited August 28, 2010 by boltuk Share this post Link to post Share on other sites
siv1987 2,560 Report post 08/28/2010 08:44 PM В конце, после всех строк с disallow впиши:Sitemap: http:///indexsitemap.xml После установки мода нету ни того файла ни другого и правильна ли директория /forum/?Чтобы карта сгенерировалась надо запустить задачу. 1 Share this post Link to post Share on other sites
boltuk 0 Report post 08/29/2010 05:25 AM (edited) В конце, после всех строк с disallow впиши:Sitemap: http://<путь к форуму>/indexsitemap.xml Чтобы карта сгенерировалась надо запустить задачу.Мод делает несколько хмл-архивов и потом их сшивает - где-то читал... Вот код indexsitemap.xml:<?xml version="1.0" encoding="UTF-8" ?> - <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> - <sitemap> <loc>http://www.mysite.ru/forum/userssitemap.xml</loc> <lastmod>2010-08-28T07:20:10+00:00</lastmod> </sitemap> </sitemapindex> Тоетсь будет правильно если я укажу Sitemap: http://<путь к форуму>/indexsitemap.xml? Edited August 29, 2010 by boltuk Share this post Link to post Share on other sites
siv1987 2,560 Report post 08/29/2010 05:27 PM Мод делает несколько хмл-архивов и потом их сшивает - где-то читал...Там функция такая есть- записывает в indexsitemap.xml пути ко всем cгенерированным картам. Тоетсь будет правильно если я укажу Sitemap: http:///indexsitemap.xml?Стандарт говорит что да 1 Share this post Link to post Share on other sites
Семёныч 3 Report post 09/12/2010 11:05 AM такой вопрос...Что не так прописано в robots.txt Файл выглядит User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/js/ Disallow: /public/style_captcha/ Disallow: /public/style_css/ Disallow: /index.php?app=core&module=task Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=messaging Disallow: /index.php?app=members&module=chat Disallow: /index.php?app=members&module=search Disallow: /index.php?app=members&module=search&do=active Disallow: /index.php?&unlockUserAgent=1 Disallow: /*app=core&module=usercp Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*?s= Disallow: /*&s= Host: hookahpro.ru Жду вашей помощи... Share this post Link to post Share on other sites
Fisana 699 Report post 09/12/2010 11:12 AM Смотрите что исключено и почему. Этот сайтТИЦ 375Страниц в поиске 6428Внешних ссылок на страницы сайта 1295608Время последнего посещения сайта роботом 10.09.2010Загружено роботом 95718Исключено роботом 30Сравните со своими данными. У нас загружено в 15 раз больше, чем в индексе. И это нормально.С изъятием/исправлением исключенных борюсь постоянно. Share this post Link to post Share on other sites
Семёныч 3 Report post 09/12/2010 11:15 AM Вот где то так... Где в файле что не так((( Share this post Link to post Share on other sites
Fisana 699 Report post 09/12/2010 11:16 AM Смотрите что запрещено.Если мусор и дубли, туда ему и дорога. Share this post Link to post Share on other sites
Семёныч 3 Report post 09/12/2010 11:16 AM Какие строки в роботе лишние?? Вроде не дубли, да и не мусор... Share this post Link to post Share on other sites
