Где-то в конце марта администрация утверждала, что доступ поисковых систем теперь открыт всем.
Тем не мене robots.txt выглядит вот так:
User-agent: *
Disallow: /admin
Disallow: /all
Disallow: /delete
Disallow: /edit
Disallow: /extern
Disallow: /help
Disallow: /login
Disallow: /messages
Disallow: /misc
Disallow: /moderate
Disallow: /online
Disallow: /poll
Disallow: /post
Disallow: /profile
Disallow: /register
Disallow: /reputation
Disallow: /restore
Disallow: /rss
Disallow: /send
Disallow: /userlist
Disallow: /vote
То есть доступ закрыт. И теперь для всех поисковиков.
Когда наконец будет изменён robots.txt по-нормальному, чтобы поисковики имели доступ нашим форумам?
P.S. На всякий случай:
Так во всех форумах на Mybb.ru
P.P.S. Посмотреть robots.txt можно следующим образом:
http://имя_сайта/robots.txt
Например https://forum.mybb.ru/robots.txt