User-Agent: *

Disallow: /admin/

Disallow: /admin.php

Disallow: /user

Disallow: /?act=

Disallow: /?showuser=

Disallow: /index.php?act=

Disallow: /index.php?showuser=

Disallow: /ipb.html

Disallow: /ipb.html?act

Disallow: /cache/

Disallow: /conf_global.php

Disallow: /converge_local/

Disallow: /favicon.ico

Disallow: /gallery/

Disallow: /gm_install/

Disallow: /install/

Disallow: /index.php?showtopic=

Disallow: /init.php

Disallow: /ips_kernel/

Disallow: /jscripts/

Disallow: /lofiversion/

Disallow: /mod_install/

Disallow: /modules/

Disallow: /msg/

Disallow: /resources/

Disallow: /retail/

Disallow: /skin_acp/

Disallow: /sources/

Disallow: /ssi.php

Disallow: /ssi_templates/

Disallow: /style_avatars/

Disallow: /style_captcha/

Disallow: /style_emoticons/

Disallow: /style_forumicons/

Disallow: /style_images/

Disallow: /uploads/

Host: www.mysite.ru

 

Скажите пожалуйста, правильно ли я написал robots.txt?

Или много закрыл для робота?

Мне нужно, чтобы индексировались все тему форума, чтобы люди могли найти меня в поисковиках...

Для 3.0 этот роботс не годится.

И для 2.x без мод ретрайва от Urisoft тоже

 

Ps

Для таких вопросов есть отдельный раздел

Дайте ссылку на раздел и я все подробно напишу...

Тему перемещаю.

Я установил форум ipb 2.3.6

Помогите пожалуйста составить robots.txt

Что в него должно входить? Я новичок в этом деле. Буду очень признателен если поможете.

http://ipbskins.ru/robots.txt

 

Лучше всего зарегистрироваться на http://webmaster.yandex.ru/ и https://www.google.com/webmasters/tools/, и следить какие страницы попадают в индекс.

Лучше всего зарегистрироваться на http://webmaster.yandex.ru/ и https://www.google.com/webmasters/tools/, и следить какие страницы попадают в индекс.

Спасибо огромное, обязательно буду работать над этим.

 

http://ipbskins.ru/robots.txt

А этот robots точно подойдет для моего форума? Темы будут индексироваться?

А этот robots точно подойдет для моего форума? Темы будут индексироваться?

Есть сервисы, в том числе на приведённых выше сайтах, где можно ввести robots,txt и ссылку с вашего сайта, а он скажет, запрещена ли она для индексирования :)

А если я нашел форум в интернете, очень похожий с тематикой моего сайта. Тоже на ipb, но не знаю какой версии. Очень раскрученный - 15 000 уников в день. Можно ли брать его robots.txt себе? Он подойдет мне?

Подойдет но лучше все же подогнать его под свои нужды.