Googlebot статус - заблокировано, как исправить?

[Fantik 2]

Вот такая картина наблюдается при попытке посмотреть форум как Googlebot.

В Google Webmasters

 

Если набрать адрес mysite.ru/robots.txt

показывает страницу с содержимым

User-agent: *
Disallow: /

 

хотя файла robots.txt нет в корневой папке с форумом, если кинуть в корень другой robots.txt, показывает тоже самое, не меняется содержимое robots.txt при наборе url адреса mysite.ru/robots.txt.

[Атаман 465]

Написать в сапорт гугла и узнать причину блокировки + напишите хостингу, почему у Вас подменный робот.

[Fantik 2]

Написал в тех. поддержку хостинга, пока не ответили.

Но у меня ещё есть форумы на 3.4.6 IPB и там с robots.txt всё в порядке, косяк именно на Invision Community v4.2.7 форумах

 

Есть ещё один форум на 4.1.19.2, там тоже с robots.txt всё ок, пишет про несуществующий robots.txt:

Not Found

The requested URL /robots.txt was not found on this server.

 

Additionally, a 404 Not Found error was encountered while trying to use an ErrorDocument to handle the request.

Изменено 20 февраля 2018 пользователем Fantik

[Атаман 465]

Робота в 4.х.х из коробки нет, его самим нужно создавать, с 3.х версии он не подходит. Сам робот должен лежать в корневой директории домена (домен.ру/robots.txt) и поисковикам нужно время, чтоб его подхватить.

 

Можете взять этот https://invisioncommunity.com/files/file/8608-robotstxt/

Изменено 21 февраля 2018 пользователем Атаман

[Fantik 2]

У меня нет учётки на Invision, чтоб скачать там, я свой создал

User-agent: *
Disallow: /admin/
Disallow: /profile/
Disallow: /discover/
Disallow: /search/
Disallow: /login/
Disallow: /register/
Disallow: /online/
Disallow: /staff/
Disallow: /contact/

Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.php

 

Хотестер так и не исправил в настройках серверах robots.txt, переехал к другому хостеру и на всех форумах стало всё нормально.

Таким вот левым способом прежний хостер решил видимо с лишним трафиком бороться.

[Атаман 465]

Случайно не ник ру??? то недавно парень написал, что у него что-то не то с поиском, и я аналогичный роботы увидел...

[Fantik 2]

risp_ru