Не уверена, но скорее всего его поменять невозможно.
Ответ на вопрос forum.mybb.ru/viewtopic.php?id=35991#p881766

Отредактировано Lidia-Lada (Пн, 17 Окт 2016 17:37:59)

Хотел отправить сообщение в эту тему - robots.txt  -  она больше подходит, но очевидно она закрыта за давностью лет. Поэтому пишу тут.

= = = = = = = = =

Здравствуйте,

Много неточностей в файле robots.txt. На примере этого файла -  https://forum.mybb.ru/robots.txt .

1. Для каждого робота должна быть своя директива.

Не так, как сейчас:

User-agent: Mail.Ru
User-agent: Slurp
User-agent: YandexBot
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id

А вот так:

User-agent: Mail.Ru
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id

User-agent: Slurp
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id

User-agent: YandexBot
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id

и т.д.

И между роботами обязательно должны быть пробелы.

2. То же самое относится и к параметрам, рекомендованным только для отдельных роботов, а остальным роботам эта директива не нужна, например:

Clean-param: p0[&p1&p2&..&pn] [path] - только для Яндекса

3. Директива host была только для Яндекс-робота, и уже отменена. Поэтому  её нужно удалить.

Host: forum.mybb.ru

Источник - https://webmaster.yandex.ru/blog/301-y- … ktivu-host

4. Добавьте в robots.txt. поисковики Yahoo и DuckDuckGo. Во-первых, потому что они популярные, а во-вторых, не все форумы здесь русскоязычные, "под Яндекс". Да и оба этих поисковика также активно индексируют русскоязычные сайты.

5.  Эту строку - Sitemap: https://forum.mybb.ru/sitemap.xml - желательно расположить в самом низу файла, через пробел после всех директив для роботов. А по факту она в середине файла, и зачем-то прописана 2 раза. 

А эта строка - Allow: /sitemap.xml$ - не нужна совсем. Её нужно удалить

С учётом изложенного, большая просьба проверить и внести соответствующие изменения.

= = = = =

Примеры.

1. Форум http://judionline.forumsid.com/ , который находится под строкой "Popular Forums" на этой странице http://mybb.us/ :

Total Topics: 1616
Total Posts: 5912

И при таком огромном количестве топиков и сообщений, в Гугле проиндексировано всего около 200 страниц с этого форума.

2.  http://thecityandthecity.rusff.ru/

Всего тем: 761
Всего сообщений: 32490

а в Гугле проиндексировано всего 90 страниц с этого форума.

3. http://abas58.0pk.ru/

Всего тем: 638
Всего сообщений: 17840

а в Гугле проиндексировано всего 10 страниц с этого форума.

4. http://zvezdareiki.svoiforum.ru/

Всего тем: 1711
Всего сообщений: 32270

а в Гугле проиндексировано всего 400 страниц с этого форума.

и т.д. и т.п.

Такие минимальные показатели индексации форумов как раз и есть, в том числе, результат неправильно оформленного файла robots.txt.

И для сравнения, файл с аналогичного сервиса. Даже чисто визуально всё выглядит очень аккратно -  http://mimsmum.proboards.com/robots.txt .

Отредактировано dobin (Чт, 21 Ноя 2019 23:20:15)

dobin
На единственном форуме файл robots.txt менять нельзя.
Насчет изменений на всём сервисе - рассмотрим Ваше предложение.

Alex_63, как долго Вы ещё будете рассматривать это вопрос? Форумы нормально не индексируются, и никакой реакции от админа. Может быть сначала этой проблеме  стоит уделить самое пристальное внимание, а потом уже всему остальному?

dobin
По нашему мнению, предложенные Вами изменения файла robots.txt нецелесообразны. Файл останется на сервисе в таком виде, в каком он есть сейчас.

И у меня дошли руки посмотреть robots.txt
Первым делом, большая его часть сильно устарела. Все первые правила disallow относятся к применению ЧПУ, которое у нас отключено.

Предполагаю сделать таким образом:

Разрешать для индексации все .js и .css есть в рекомендациях гугла. Также разрешены: главная страница, страницы тем и постов. Всё остальное запрещено. Запрещать для различных сервисов индексацию, как это сделано в как изменить robots.txt, не вижу особого смысла.

Можно еще разрешить export.php, ценность rss для поисковиков мне кажется сомнительной, здесь дублируется sitemap (где я сделал отдельную секцию для новых сообщений), но и вреда не будет.

Страницы чего?

Профили вредно разрешать, на них тратиться время робота (а для многих форумов еще и квота достаточно небольшая), при этом сами они, как правило, в поиске практически не фигурируют (там просто нет ничего ценного для поиска). Есть исследования, где такие вот пустые страницы убирали с сайтов и их индексация увеличивалась. Я и сам проводил такой эксперимент (на другом ресурсе убирал как раз профили) и получил тот же результат.

Коль скоро файл был изменён, то я бы его переделал от обратного.     То есть разрешить всё, что не запрещено (распространённая практика):

User-agent: *
Disallow: /search.php
Disallow: /profile.php
Disallow: /register.php

Sitemap: https://abcde.mybb.ru/sitemap.xml