Я по поводу этого файла.
1) Можно будет в будущем изменять robots для сервиса, для форума?
2) А не стоит ли повысить задержку Crawl-delay от 0.5 до 1, дабы не нагружать сервера?
Единый форум поддержки |
Привет, Гость! Войдите или зарегистрируйтесь.
Вы здесь » Единый форум поддержки » Сделаем сервис лучше » Файл robots.
Я по поводу этого файла.
1) Можно будет в будущем изменять robots для сервиса, для форума?
2) А не стоит ли повысить задержку Crawl-delay от 0.5 до 1, дабы не нагружать сервера?
Skyp
Роботс для каждого форума предлагаешь? К общему в любом случае доступа не будет.
А для каждого форума на майбб есть свой фай Sitemap? Просто легче будет яндексу индек.страницу...я может отсталый не знаю....O.o" но помойму нету...
2) А не стоит ли повысить задержку Crawl-delay от 0.5 до 1, дабы не нагружать сервера?
не стоит (ИМХО)
что это такое запрещенной к индексации файлом robots.txt! | Корзина | Пт, 15 Авг 2008 |
Нужно изменить файл robots.txt | Административный архив | Ср, 14 Ноя 2012 |
Документ запрещен в файле robots.txt | Корзина | Пт, 3 Сен 2010 |
Ошибка при проверке файла robots.txt | Форум для новичков | Пт, 7 Июл 2017 |
Файл robots.txt блокирует индексацию важных страниц сайта | Сообщения об ошибках | Ср, 29 Июл 2020 |
Вы здесь » Единый форум поддержки » Сделаем сервис лучше » Файл robots.