Я по поводу этого файла.
1) Можно будет в будущем изменять robots для сервиса, для форума?
2) А не стоит ли повысить задержку Crawl-delay от 0.5 до 1, дабы не нагружать сервера?
Файл robots.
Страница: 1
Сообщений 1 страница 4 из 4
Поделиться1Чт, 12 Ноя 2009 03:01:51
- Модератор
- Зарегистрирован: Пт, 8 Фев 2008
- Сообщений: 1866
- Уважение: +1108
- Позитив: +794
- Пол: Мужской
- Последний визит:
Вт, 4 Фев 2025 15:19:11
Поделиться2Чт, 12 Ноя 2009 10:51:01
- Cтарожил
- Зарегистрирован: Пн, 2 Окт 2006
- Сообщений: 4246
- Уважение: +949
- Позитив: +280
- Пол: Мужской
- Последний визит:
Вт, 4 Окт 2022 10:21:37
Skyp
Роботс для каждого форума предлагаешь? К общему в любом случае доступа не будет.
Поделиться3Чт, 12 Ноя 2009 17:43:29
А для каждого форума на майбб есть свой фай Sitemap? Просто легче будет яндексу индек.страницу...я может отсталый не знаю....O.o" но помойму нету...
Поделиться4Чт, 12 Ноя 2009 20:26:43
- Заблокирован
- Зарегистрирован: Вс, 8 Ноя 2009
- Сообщений: 39
- Уважение: -2
- Позитив: +1
- Пол: Мужской
- Последний визит:
Пт, 13 Ноя 2009 08:19:07
Skyp написал(а):
2) А не стоит ли повысить задержку Crawl-delay от 0.5 до 1, дабы не нагружать сервера?
не стоит (ИМХО)
Страница: 1
Похожие темы
| что это такое запрещенной к индексации файлом robots.txt! | Корзина | Пт, 15 Авг 2008 |
| Нужно изменить файл robots.txt | Административный архив | Ср, 14 Ноя 2012 |
| Документ запрещен в файле robots.txt | Корзина | Пт, 3 Сен 2010 |
| Ошибка при проверке файла robots.txt | Форум для новичков | Пт, 7 Июл 2017 |
| Файл robots.txt блокирует индексацию важных страниц сайта | Сообщения об ошибках | Ср, 29 Июл 2020 |