Единый форум поддержки

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.


Вы здесь » Единый форум поддержки » Форум для новичков » как изменить robots.txt


как изменить robots.txt

Сообщений 1 страница 8 из 8

1

подскажите сколько места памяти на хостинге дается для форума ?

как мне изменить robots.txt
http://s8.uploads.ru/t/oKcZv.png

0

2

Не уверена, но скорее всего его поменять невозможно.
Ответ на вопрос forum.mybb.ru/viewtopic.php?id=35991#p881766

Отредактировано Lidia-Lada (Пн, 17 Окт 2016 17:37:59)

0

3

lostcast
Место для форума не ограничено.
Изменять файл robots.txt возможности нет.

0

4

Хотел отправить сообщение в эту тему - robots.txt  -  она больше подходит, но очевидно она закрыта за давностью лет. Поэтому пишу тут.

= = = = = = = = =

Здравствуйте,

Много неточностей в файле robots.txt. На примере этого файла -  http://forum.mybb.ru/robots.txt .

1. Для каждого робота должна быть своя директива.

Не так, как сейчас:

User-agent: Mail.Ru
User-agent: Slurp
User-agent: YandexBot
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id

А вот так:

User-agent: Mail.Ru
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id

User-agent: Slurp
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id

User-agent: YandexBot
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id

и т.д.

И между роботами обязательно должны быть пробелы.

2. То же самое относится и к параметрам, рекомендованным только для отдельных роботов, а остальным роботам эта директива не нужна, например:

Clean-param: p0[&p1&p2&..&pn] [path] - только для Яндекса

3. Директива host была только для Яндекс-робота, и уже отменена. Поэтому  её нужно удалить.

Host: forum.mybb.ru

Источник - https://webmaster.yandex.ru/blog/301-y- … ktivu-host

4. Добавьте в robots.txt. поисковики Yahoo и DuckDuckGo. Во-первых, потому что они популярные, а во-вторых, не все форумы здесь русскоязычные, "под Яндекс". Да и оба этих поисковика также активно индексируют русскоязычные сайты.

5.  Эту строку - Sitemap: http://forum.mybb.ru/sitemap.xml - желательно расположить в самом низу файла, через пробел после всех директив для роботов. А по факту она в середине файла, и зачем-то прописана 2 раза. 

А эта строка - Allow: /sitemap.xml$ - не нужна совсем. Её нужно удалить

С учётом изложенного, большая просьба проверить и внести соответствующие изменения.

= = = = =

Примеры.

1. Форум http://judionline.forumsid.com/ , который находится под строкой "Popular Forums" на этой странице http://mybb.us/ :

Total Topics: 1616
Total Posts: 5912

И при таком огромном количестве топиков и сообщений, в Гугле проиндексировано всего около 200 страниц с этого форума.

2.  http://thecityandthecity.rusff.ru/

Всего тем: 761
Всего сообщений: 32490

а в Гугле проиндексировано всего 90 страниц с этого форума.

3. http://abas58.0pk.ru/

Всего тем: 638
Всего сообщений: 17840

а в Гугле проиндексировано всего 10 страниц с этого форума.

4. http://zvezdareiki.svoiforum.ru/

Всего тем: 1711
Всего сообщений: 32270

а в Гугле проиндексировано всего 400 страниц с этого форума.

и т.д. и т.п.

Такие минимальные показатели индексации форумов как раз и есть, в том числе, результат неправильно оформленного файла robots.txt.

И для сравнения, файл с аналогичного сервиса. Даже чисто визуально всё выглядит очень аккратно -  http://mimsmum.proboards.com/robots.txt .

Отредактировано dobin (Чт, 21 Ноя 2019 23:20:15)

+3

5

Просьба не игнорировать, а ответить по существу вопроса.

0

6

dobin
На единственном форуме файл robots.txt менять нельзя.
Насчет изменений на всём сервисе - рассмотрим Ваше предложение.

+2

7

Alex_63 написал(а):

dobin
На единственном форуме файл robots.txt менять нельзя.
Насчет изменений на всём сервисе - рассмотрим Ваше предложение.


Перенесите, пожалуйста, по-возможности, мои запросы и Ваш ответ в эту тему  - robots.txt.  А то здесь этот достаточно серьёзный вопрос как-то странно смотрится.

Если откровенно, то я в первый раз вижу такой, очень-очень мягко выражась, странный файл robots.txt. Особенно удивило это:

Disallow: /rss


Ну как можно запрещать индексацию RSS, когда это основа для индексации?!

И вот это:

User-agent: Googlebot
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id=
Disallow: /


Это то же самое, как если бы на одном столбе было одновременно два знака - поворот направо разрешён, и проезд в любом направлении запрещён.

И т.д. и т.п. к уже вышесказанному.

Подготовил примерный образец нового файла. Если будут вопросы, спрашивайте у специалистов SEO, и у меня тоже. Я готов ответить.

Скрытый текст:

Для просмотра скрытого текста - войдите или зарегистрируйтесь.


P.S. А про изменения для одного сайта я и не спрашивал совсем. Во-первых, здесь (и не только) ответили уже. И, во-вторых, была бы возможность, я бы давно всё поменял.

+2

8

Alex_63, как долго Вы ещё будете рассматривать это вопрос? Форумы нормально не индексируются, и никакой реакции от админа. Может быть сначала этой проблеме  стоит уделить самое пристальное внимание, а потом уже всему остальному?

+1


Вы здесь » Единый форум поддержки » Форум для новичков » как изменить robots.txt