Единый форум поддержки

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.


Вы здесь » Единый форум поддержки » Форум для новичков » как изменить robots.txt


как изменить robots.txt

Сообщений 1 страница 18 из 18

1

подскажите сколько места памяти на хостинге дается для форума ?

как мне изменить robots.txt
http://s8.uploads.ru/t/oKcZv.png

0

2

Не уверена, но скорее всего его поменять невозможно.
Ответ на вопрос forum.mybb.ru/viewtopic.php?id=35991#p881766

Отредактировано Lidia-Lada (Пн, 17 Окт 2016 17:37:59)

0

3

lostcast
Место для форума не ограничено.
Изменять файл robots.txt возможности нет.

0

4

Хотел отправить сообщение в эту тему - robots.txt  -  она больше подходит, но очевидно она закрыта за давностью лет. Поэтому пишу тут.

= = = = = = = = =

Здравствуйте,

Много неточностей в файле robots.txt. На примере этого файла -  http://forum.mybb.ru/robots.txt .

1. Для каждого робота должна быть своя директива.

Не так, как сейчас:

User-agent: Mail.Ru
User-agent: Slurp
User-agent: YandexBot
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id

А вот так:

User-agent: Mail.Ru
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id

User-agent: Slurp
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id

User-agent: YandexBot
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id

и т.д.

И между роботами обязательно должны быть пробелы.

2. То же самое относится и к параметрам, рекомендованным только для отдельных роботов, а остальным роботам эта директива не нужна, например:

Clean-param: p0[&p1&p2&..&pn] [path] - только для Яндекса

3. Директива host была только для Яндекс-робота, и уже отменена. Поэтому  её нужно удалить.

Host: forum.mybb.ru

Источник - https://webmaster.yandex.ru/blog/301-y- … ktivu-host

4. Добавьте в robots.txt. поисковики Yahoo и DuckDuckGo. Во-первых, потому что они популярные, а во-вторых, не все форумы здесь русскоязычные, "под Яндекс". Да и оба этих поисковика также активно индексируют русскоязычные сайты.

5.  Эту строку - Sitemap: http://forum.mybb.ru/sitemap.xml - желательно расположить в самом низу файла, через пробел после всех директив для роботов. А по факту она в середине файла, и зачем-то прописана 2 раза. 

А эта строка - Allow: /sitemap.xml$ - не нужна совсем. Её нужно удалить

С учётом изложенного, большая просьба проверить и внести соответствующие изменения.

= = = = =

Примеры.

1. Форум http://judionline.forumsid.com/ , который находится под строкой "Popular Forums" на этой странице http://mybb.us/ :

Total Topics: 1616
Total Posts: 5912

И при таком огромном количестве топиков и сообщений, в Гугле проиндексировано всего около 200 страниц с этого форума.

2.  http://thecityandthecity.rusff.ru/

Всего тем: 761
Всего сообщений: 32490

а в Гугле проиндексировано всего 90 страниц с этого форума.

3. http://abas58.0pk.ru/

Всего тем: 638
Всего сообщений: 17840

а в Гугле проиндексировано всего 10 страниц с этого форума.

4. http://zvezdareiki.svoiforum.ru/

Всего тем: 1711
Всего сообщений: 32270

а в Гугле проиндексировано всего 400 страниц с этого форума.

и т.д. и т.п.

Такие минимальные показатели индексации форумов как раз и есть, в том числе, результат неправильно оформленного файла robots.txt.

И для сравнения, файл с аналогичного сервиса. Даже чисто визуально всё выглядит очень аккратно -  http://mimsmum.proboards.com/robots.txt .

Отредактировано dobin (Чт, 21 Ноя 2019 23:20:15)

+2

5

Просьба не игнорировать, а ответить по существу вопроса.

+1

6

dobin
На единственном форуме файл robots.txt менять нельзя.
Насчет изменений на всём сервисе - рассмотрим Ваше предложение.

+2

7

Alex_63 написал(а):

dobin
На единственном форуме файл robots.txt менять нельзя.
Насчет изменений на всём сервисе - рассмотрим Ваше предложение.

Перенесите, пожалуйста, по-возможности, мои запросы и Ваш ответ в эту тему  - robots.txt.  А то здесь этот достаточно серьёзный вопрос как-то странно смотрится.

Если откровенно, то я в первый раз вижу такой, очень-очень мягко выражась, странный файл robots.txt. Особенно удивило это:

Disallow: /rss

Ну как можно запрещать индексацию RSS, когда это основа для индексации?!

И вот это:

User-agent: Googlebot
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id=
Disallow: /

Это то же самое, как если бы на одном столбе было одновременно два знака - поворот направо разрешён, и проезд в любом направлении запрещён.

И т.д. и т.п. к уже вышесказанному.

Подготовил примерный образец нового файла. Если будут вопросы, спрашивайте у специалистов SEO, и у меня тоже. Я готов ответить.

Скрытый текст:

Для просмотра скрытого текста - войдите или зарегистрируйтесь.

P.S. А про изменения для одного сайта я и не спрашивал совсем. Во-первых, здесь (и не только) ответили уже. И, во-вторых, была бы возможность, я бы давно всё поменял.

+2

8

Alex_63, как долго Вы ещё будете рассматривать это вопрос? Форумы нормально не индексируются, и никакой реакции от админа. Может быть сначала этой проблеме  стоит уделить самое пристальное внимание, а потом уже всему остальному?

+1

9

Alex_63 написал(а):

dobin
...
Насчет изменений на всём сервисе - рассмотрим Ваше предложение.

Хотя бы объясните, почему вы не желаете этим заниматься? И делать то ничего особо не надо - вверху готовый файл уже есть. Странная какая-то позиция по этому вопросу...

+2

10

dobin
По нашему мнению, предложенные Вами изменения файла robots.txt нецелесообразны. Файл останется на сервисе в таком виде, в каком он есть сейчас.

+1

11

Хм.. человек банально не понимает, но все равно лезет куда то:crazy:. Зачем под каждого робота писать правила, когда можно all.)

0

12

И у меня дошли руки посмотреть robots.txt
Первым делом, большая его часть сильно устарела. Все первые правила disallow относятся к применению ЧПУ, которое у нас отключено.

Предполагаю сделать таким образом:

User-agent: *
Allow: *.css$
Allow: *.js$
Allow: /$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id=
Disallow: /

Sitemap: ...

Разрешать для индексации все .js и .css есть в рекомендациях гугла. Также разрешены: главная страница, страницы тем и постов. Всё остальное запрещено. Запрещать для различных сервисов индексацию, как это сделано в как изменить robots.txt, не вижу особого смысла.

Можно еще разрешить export.php, ценность rss для поисковиков мне кажется сомнительной, здесь дублируется sitemap (где я сделал отдельную секцию для новых сообщений), но и вреда не будет.

+4

13

kernel
страницы еще

и разрешите профили

0

14

tartar1 написал(а):

kernel
страницы еще

и разрешите профили

Страницы чего?

Профили вредно разрешать, на них тратиться время робота (а для многих форумов еще и квота достаточно небольшая), при этом сами они, как правило, в поиске практически не фигурируют (там просто нет ничего ценного для поиска). Есть исследования, где такие вот пустые страницы убирали с сайтов и их индексация увеличивалась. Я и сам проводил такой эксперимент (на другом ресурсе убирал как раз профили) и получил тот же результат.

+1

15

kernel, спасибо, что изменили коренным образом файл robots.txt.

Всегда приятно видеть адекватных людей, профессионально разбирающихся в различных сферах интернет-индустрии.  :flag:

Что касается моего варианта, то я оформил его проект, исходя из существующей на тот момент структуры этого файла. Да и не вредно отсечь, при желании,  т.н. "роботов-паразитов".  :rain:

+1

16

Коль скоро файл был изменён, то я бы его переделал от обратного.   :question:  То есть разрешить всё, что не запрещено (распространённая практика):

User-agent: *
Disallow: /search.php
Disallow: /profile.php
Disallow: /register.php

Sitemap: https://abcde.mybb.ru/sitemap.xml

-1

17

dobin написал(а):

Коль скоро файл был изменён, то я бы его переделал от обратного.   :question:  То есть разрешить всё, что не запрещено (распространённая практика):

User-agent: *
Disallow: /search.php
Disallow: /profile.php
Disallow: /register.php

Sitemap: https://abcde.mybb.ru/sitemap.xml

А зачем? Для робота совершенно не имеет значения, какую стратегию использовать. А файл получится больше, просто потому что на форумах запрещенных для индексации страниц больше.

0

18

kernel написал(а):
dobin написал(а):

Коль скоро файл был изменён, то я бы его переделал от обратного.   :question:  То есть разрешить всё, что не запрещено (распространённая практика):

User-agent: *
Disallow: /search.php
Disallow: /profile.php
Disallow: /register.php

Sitemap: https://abcde.mybb.ru/sitemap.xml

А зачем? Для робота совершенно не имеет значения, какую стратегию использовать. А файл получится больше, просто потому что на форумах запрещенных для индексации страниц больше.

1.  Что именно?

/register.php и /login.php - это формально, можно даже не учитывать в файле.

А что ещё?

2. Если даже и больше, то это "больше" на ухудшение идексации никак не повлияет.

-1


Вы здесь » Единый форум поддержки » Форум для новичков » как изменить robots.txt