Jump to content

Googlebot статус - заблокировано, как исправить?


Fantik
 Share

Recommended Posts

Googlebot.jpg

Вот такая картина наблюдается при попытке посмотреть форум как Googlebot.

В Google Webmasters

 

Если набрать адрес mysite.ru/robots.txt

показывает страницу с содержимым

User-agent: *
Disallow: /

 

хотя файла robots.txt нет в корневой папке с форумом, если кинуть в корень другой robots.txt, показывает тоже самое, не меняется содержимое robots.txt при наборе url адреса mysite.ru/robots.txt.

Link to comment
Share on other sites

Написал в тех. поддержку хостинга, пока не ответили.

Но у меня ещё есть форумы на 3.4.6 IPB и там с robots.txt всё в порядке, косяк именно на Invision Community v4.2.7 форумах

 

Есть ещё один форум на 4.1.19.2, там тоже с robots.txt всё ок, пишет про несуществующий robots.txt:

Not Found

The requested URL /robots.txt was not found on this server.

 

Additionally, a 404 Not Found error was encountered while trying to use an ErrorDocument to handle the request.

Edited by Fantik
Link to comment
Share on other sites

Робота в 4.х.х из коробки нет, его самим нужно создавать, с 3.х версии он не подходит. Сам робот должен лежать в корневой директории домена (домен.ру/robots.txt) и поисковикам нужно время, чтоб его подхватить.

 

Можете взять этот https://invisioncommunity.com/files/file/8608-robotstxt/

Edited by Атаман
Link to comment
Share on other sites

У меня нет учётки на Invision, чтоб скачать там, я свой создал

User-agent: *
Disallow: /admin/
Disallow: /profile/
Disallow: /discover/
Disallow: /search/
Disallow: /login/
Disallow: /register/
Disallow: /online/
Disallow: /staff/
Disallow: /contact/

Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.php

 

Хотестер так и не исправил в настройках серверах robots.txt, переехал к другому хостеру и на всех форумах стало всё нормально.

Таким вот левым способом прежний хостер решил видимо с лишним трафиком бороться.

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share

  • Recently Browsing   0 members

    • No registered users viewing this page.
×
×
  • Create New...