User-agent: * Disallow: /admin/ Disallow: /*&s= Disallow: /*&s=* Disallow: /*?s= Disallow: /*?s=* Disallow: /cache/ Disallow: /converge_local/ Disallow: /hooks/ Disallow: /ips_kernel/ Disallow: /retail/ Disallow: /public/js/ Disallow: /public/style_captcha/ Disallow: /public/style_css/ Disallow: /index.php?app=core&module=task Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic Disallow: /index.php?app=forums&module=extras§ion=forward Disallow: /index.php?app=members&module=messaging Disallow: /index.php?app=members&module=chat Disallow: /index.php?app=members&module=search Disallow: /index.php?app=members&module=search&do=active Disallow: /index.php?&unlockUserAgent=1 Disallow: /*app=core&module=usercp Disallow: /*app=members&module=messaging Disallow: /*&p= Disallow: /*&pid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*view__getnewpost$ Disallow: /*view__getlastpost$ Disallow: /*view__old$ Disallow: /*view__new$ Disallow: /*view__getfirst$ Disallow: /*view__getprevious$ Disallow: /*view__getnext$ Disallow: /*view__getlast$ Disallow: /*page__view__findpost* Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /index.php/user/ Disallow: /index.php?app=core&module=global§ion=login Disallow: /index.php?app=core&module=global§ion=lostpass Disallow: /index.php/calendar Disallow: /index.php?app=calendar&module=calendar Disallow: /index.php?app=forums&module=extras§ion=stats&do=who&t= Disallow: /index.php?app=forums&module=forums§ion=attach&tid= Disallow: /index.php?app=core&module=attach§ion=attach&attach_id= Disallow: /index.php?app=core&module=attach§ion=attach&attach_rel_module=post&attach_id= Disallow: /index.php?app=forums&module=extras§ion=rating&t= Disallow: /index.php?app=forums&module=post§ion=post&do=reply_post&f= Disallow: /*app=calendar Disallow: /index.php?app=forums&module=forums§ion=markasread&marktype= Disallow: /index.php?app=core&module=global§ion=login&&do=deleteCookies&k= Disallow: /index.php/index Disallow: /public/style_emoticons/default/ Disallow: /index.php?app=blog&module=display§ion= Disallow: /index.php?app=blog&showblog= Disallow: /index.php?app=blog&show_members_blogs= Disallow: /index.php?app=forums&module=ajax§ion=
Страница 1 из 1
robotxt
#1
Отправлено 16 Сентябрь 2011 - 18:19
Здравствуйте, мне нужно что нибудь изменить в robotxt ?
#2
Отправлено 19 Декабрь 2011 - 19:23
Решил не создавать новую ветку. Суть вопроса вот в чем. Гугл у меня на форуме практически живет. Заходит каждые 3-10 минут. Так вот почему он ходит по профилям пользователей и на другие закрытые от индексации страницы. Вот вам текст файла robots.txt
Вебмастер яндекса, говорит мне что страница с профилями защищена, тобишь файл роботс.тхт работает. В чем может быть причина?
Spoiler
Вебмастер яндекса, говорит мне что страница с профилями защищена, тобишь файл роботс.тхт работает. В чем может быть причина?
#3
Отправлено 19 Декабрь 2011 - 19:50
1. Запрет в роботс означает не индексировать данный урл. Но заглянуть туда бот может.
2. Зачем дублировать для яндекс и гугла одни и те же правила? Пишите один раз под общей секцией User-agent: *
3. Раньше на главной стоял дле, а форум в папке. Возможно роботс небыл скопирован в корень домена, и поэтому профили попали в индекс. Со временем они выпадут.
2. Зачем дублировать для яндекс и гугла одни и те же правила? Пишите один раз под общей секцией User-agent: *
3. Раньше на главной стоял дле, а форум в папке. Возможно роботс небыл скопирован в корень домена, и поэтому профили попали в индекс. Со временем они выпадут.
#5
Отправлено 16 Январь 2012 - 19:36
Вот такой вопрос.
Мне надо закрыть от индексации альбомы галереи и её главную.
Disallow: /gallery/ исключает главную и все последующие страницы с таким путем.
К примеру /gallery/image/название фото/ тоже вылетит из индекса по правилу "Disallow: /gallery/"
Как мне одновременно закрыть от индексации "/gallery/" и "/gallery/album", но разрешить "/gallery/image/название фото/"
Мне надо закрыть от индексации альбомы галереи и её главную.
Disallow: /gallery/ исключает главную и все последующие страницы с таким путем.
К примеру /gallery/image/название фото/ тоже вылетит из индекса по правилу "Disallow: /gallery/"
Как мне одновременно закрыть от индексации "/gallery/" и "/gallery/album", но разрешить "/gallery/image/название фото/"
#6
Отправлено 16 Январь 2012 - 20:21
Allow: /gallery/image/
Disallow: /gallery/
Написать после секции User-agent и в таком порядке
Disallow: /gallery/
Написать после секции User-agent и в таком порядке
Сообщить об этой теме:
Страница 1 из 1








