Единый форум поддержки

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.


Вы здесь » Единый форум поддержки » Вопросы к администрации » прошу пояснений про robots.txt


прошу пояснений про robots.txt

Сообщений 1 страница 12 из 12

1

знакомые увидев мой robots.txt и запись
User-agent: Googlebot
Allow: /$
Allow: /pages/
Allow: /search.php?action=show_24h
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id=
Disallow: /
Sitemap: http://сайт/sitemap.xml
User-agent: Googlebot-Image
Allow: /img/avatars/
Allow: /uploads/
Disallow: /

сказали что бот гугла не понимает строки Allow?!
т.к. такой опции нет в стандарте :)
Allow понимает только бот Яндекса.
Для него вышеприведенная конструкция превращается просто в:
User-agent: Googlebot

Disallow: /

И лучше было бы прописать только ту часть, что для User-agent: *

Хотелось бы услышать ваше мнение? Возможно это суждение эфимерно, а может и правдиво.

0

2

в панели вебмастера заметил следующее сообщение об ошибках в роботс:

http://sd.uploads.ru/t/FnqrV.jpg

подскажите, пожалуйста, что с этим делать?

0

3

http://help.yandex.ru/webmaster/control … rawl-delay
Ниже написано про clean-param

0

4

забыл уточнить, что речь шла о поисковике Google.
вопрос в силе, что это за ошибки и как их устранить.
есть подозрение, что они влияют на посещаемость, потому как она с указанного поисковика в последнее время упала.

0

5

Caligula написал(а):

забыл уточнить, что речь шла о поисковике Google.
вопрос в силе, что это за ошибки и как их устранить.
есть подозрение, что они влияют на посещаемость, потому как она с указанного поисковика в последнее время упала.

Гугл бан выдал? Если вбить эти директивы в поиск, то выдает кучу faq по настройке этого файла, с указанием области применения. Эти директивы не связаны как-то особенно с яндексом и не мешают поисковым ботам - читать описание.

Если есть доступ к файлу, то исправить вручную. А если нет, то к чему вопрос про "как исправить"?) Именно для google надо вписать туда canonical

Отредактировано ДОМИНИОН (Пт, 29 Авг 2014 16:05:14)

0

6

ДОМИНИОН написал(а):

Гугл бан выдал? Если вбить эти директивы в поиск, то выдает кучу faq по настройке этого файла, с указанием области применения. Эти директивы не связаны как-то особенно с яндексом и не мешают поисковым ботам - читать описание.

Если есть доступ к файлу, то исправить вручную. А если нет, то к чему вопрос про "как исправить"?) Именно для google надо вписать туда canonical

Гугл бан не выдавал, и количество проиндексированных страниц не убавилось. заметил ошибки и хотелось бы узнать, как их исправить. естественно, учитывая имеющиеся на движке mybb возможности. если нельзя это исправить из админки, то может быть это сделает Админ в общих настройках? поэтому я и написал в разделе "Вопросы к администрации".

0

7

Caligula написал(а):

Гугл бан не выдавал, и количество проиндексированных страниц не убавилось. заметил ошибки и хотелось бы узнать, как их исправить. естественно, учитывая имеющиеся на движке mybb возможности. если нельзя это исправить из админки, то может быть это сделает Админ в общих настройках? поэтому я и написал в разделе "Вопросы к администрации".

Тебе не лень писать на форуме полотна текстом с мультмцитированием, но лень загуглить пару слов-директив?))
Гугл их не распознает, поэтому помечает их как ошибочные записи. Но они действуют для других систем. Админ убирать их не будет, т.к. они снижают нагрузку на сервер и оптимизируют индекс динамичных страниц. Единственное, что можно сделать для google  - прописать canonical директиву для того, чтобы убрать дубли из индекса. Но на сервисе есть редирект (перенаправляет на новую страницу автоматом после добавления сообщения). Да и нет на форумах проблемы с попаданием на устаревшие/несущесивующие/перемещенные страницы.

0

8

ДОМИНИОН написал(а):

Тебе не лень писать на форуме полотна текстом с мультмцитированием

если честно, даже не задумывался, лень мне или нет. надо будет на досуге подумать, если не будет лень об этом думать :D

ДОМИНИОН написал(а):

но лень загуглить пару слов-директив?))

не лень, просто никакого внятного объяснения не найдёшь.

ДОМИНИОН написал(а):

Гугл их не распознает, поэтому помечает их как ошибочные записи. Но они действуют для других систем. Админ убирать их не будет, т.к. они снижают нагрузку на сервер и оптимизируют индекс динамичных страниц. Единственное, что можно сделать для google  - прописать canonical директиву для того, чтобы убрать дубли из индекса. Но на сервисе есть редирект (перенаправляет на новую страницу автоматом после добавления сообщения). Да и нет на форумах проблемы с попаданием на устаревшие/несущесивующие/перемещенные страницы.

спасибо за разъяснение.
почему-то не любит Гугл наш форум с самого начала. всё думаю, может ему чего-то нехватает, а он значит просто привередливый.

0

9

serguei80 написал(а):

знакомые увидев мой robots.txt и запись
User-agent: Googlebot
Allow: /$
Allow: /pages/
Allow: /search.php?action=show_24h
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id=
Disallow: /
Sitemap: http://сайт/sitemap.xml
User-agent: Googlebot-Image
Allow: /img/avatars/
Allow: /uploads/
Disallow: /

сказали что бот гугла не понимает строки Allow?!
т.к. такой опции нет в стандарте
Allow понимает только бот Яндекса.
Для него вышеприведенная конструкция превращается просто в:
User-agent: Googlebot

Disallow: /

И лучше было бы прописать только ту часть, что для User-agent: *

Хотелось бы услышать ваше мнение? Возможно это суждение эфимерно, а может и правдиво.

Меня вот то что я жирным выделил настораживает. Что то не так.
Disallow: /
Запрещает индексацию всего сайта!

0

10

Ро* Ши* написал(а):

Меня вот то что я жирным выделил настораживает. Что то не так.
Disallow: /
Запрещает индексацию всего сайта!

Вот это да!!!!1111

0

11

ДОМИНИОН написал(а):

Вот это да!!!!1111

Сарказм?)
Я тоже офигел когда увидел.

0

12

видать ни какого решения у администрации нет (((

0


Вы здесь » Единый форум поддержки » Вопросы к администрации » прошу пояснений про robots.txt