прошу пояснений про robots.txt

Поделиться1Ср, 9 Апр 2014 19:01:06

Автор: serguei80
Заблокирован
Зарегистрирован: Вт, 29 Янв 2013
Сообщений: 8
Уважение: 0
Позитив: 0
Последний визит:
Пн, 21 Апр 2014 19:04:33

знакомые увидев мой robots.txt и запись
User-agent: Googlebot
Allow: /$
Allow: /pages/
Allow: /search.php?action=show_24h
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id=
Disallow: /
Sitemap: http://сайт/sitemap.xml
User-agent: Googlebot-Image
Allow: /img/avatars/
Allow: /uploads/
Disallow: /

сказали что бот гугла не понимает строки Allow?!
т.к. такой опции нет в стандарте
Allow понимает только бот Яндекса.
Для него вышеприведенная конструкция превращается просто в:
User-agent: Googlebot

Disallow: /

И лучше было бы прописать только ту часть, что для User-agent: *

Хотелось бы услышать ваше мнение? Возможно это суждение эфимерно, а может и правдиво.

0

Поделиться2Пт, 29 Авг 2014 06:47:14

Автор: ДОМИНИОН
Cтарожил
Зарегистрирован: Сб, 4 Ноя 2006
Сообщений: 6889
Уважение: +1022
Позитив: +688
Последний визит:
Вт, 23 Авг 2022 00:48:48

http://help.yandex.ru/webmaster/control … rawl-delay
Ниже написано про clean-param

0

Поделиться3Пт, 29 Авг 2014 15:54:43

Автор: ДОМИНИОН
Cтарожил
Зарегистрирован: Сб, 4 Ноя 2006
Сообщений: 6889
Уважение: +1022
Позитив: +688
Последний визит:
Вт, 23 Авг 2022 00:48:48

Caligula написал(а):

забыл уточнить, что речь шла о поисковике Google.
вопрос в силе, что это за ошибки и как их устранить.
есть подозрение, что они влияют на посещаемость, потому как она с указанного поисковика в последнее время упала.

Гугл бан выдал? Если вбить эти директивы в поиск, то выдает кучу faq по настройке этого файла, с указанием области применения. Эти директивы не связаны как-то особенно с яндексом и не мешают поисковым ботам - читать описание.

Если есть доступ к файлу, то исправить вручную. А если нет, то к чему вопрос про "как исправить"?) Именно для google надо вписать туда canonical

Отредактировано ДОМИНИОН (Пт, 29 Авг 2014 16:05:14)

0

Поделиться4Пт, 29 Авг 2014 18:14:51

Автор: ДОМИНИОН
Cтарожил
Зарегистрирован: Сб, 4 Ноя 2006
Сообщений: 6889
Уважение: +1022
Позитив: +688
Последний визит:
Вт, 23 Авг 2022 00:48:48

Caligula написал(а):

Гугл бан не выдавал, и количество проиндексированных страниц не убавилось. заметил ошибки и хотелось бы узнать, как их исправить. естественно, учитывая имеющиеся на движке mybb возможности. если нельзя это исправить из админки, то может быть это сделает Админ в общих настройках? поэтому я и написал в разделе "Вопросы к администрации".

Тебе не лень писать на форуме полотна текстом с мультмцитированием, но лень загуглить пару слов-директив?))
Гугл их не распознает, поэтому помечает их как ошибочные записи. Но они действуют для других систем. Админ убирать их не будет, т.к. они снижают нагрузку на сервер и оптимизируют индекс динамичных страниц. Единственное, что можно сделать для google - прописать canonical директиву для того, чтобы убрать дубли из индекса. Но на сервисе есть редирект (перенаправляет на новую страницу автоматом после добавления сообщения). Да и нет на форумах проблемы с попаданием на устаревшие/несущесивующие/перемещенные страницы.

0

Поделиться5Пт, 29 Авг 2014 19:23:13

Автор: Ро* Ши*
Гуру
Зарегистрирован: Пт, 4 Ноя 2011
Сообщений: 848
Уважение: +68
Позитив: +57
Пол: Мужской
Предупреждения: This CatProfile is Dead.
Последний визит:
Пн, 27 Фев 2023 21:36:19

serguei80 написал(а):

знакомые увидев мой robots.txt и запись
User-agent: Googlebot
Allow: /$
Allow: /pages/
Allow: /search.php?action=show_24h
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id=
Disallow: /
Sitemap: http://сайт/sitemap.xml
User-agent: Googlebot-Image
Allow: /img/avatars/
Allow: /uploads/
Disallow: /

сказали что бот гугла не понимает строки Allow?!
т.к. такой опции нет в стандарте
Allow понимает только бот Яндекса.
Для него вышеприведенная конструкция превращается просто в:
User-agent: Googlebot

Disallow: /

И лучше было бы прописать только ту часть, что для User-agent: *

Хотелось бы услышать ваше мнение? Возможно это суждение эфимерно, а может и правдиво.