У меня стоит запрет на индексацию в robots.txt. Оказуется он наверное у всех стоит.Проверил несколько сайтов на выбор и у них у всех такая же история! Проверьте свои если хотите. Только тут на этом форуме работает robots.txt
Запрет index что на всех форумах?
Страница: 1
Сообщений 1 страница 15 из 15
Поделиться2Вс, 27 Дек 2015 01:11:28
- Тутошний...
- Зарегистрирован: Ср, 16 Июн 2010
- Сообщений: 51447
- Уважение: +15410
- Позитив: +12002
- Последний визит:
Вчера 22:21:51
vov4ik32
Ну да, оно стоит, но по умолчанию было что, наличие метатега от поисковика, - поисковик игнорит robots.txt это было вплоть до полугода назад, когда эпизодически на некоторых форумах возникали претензии
Яндекс вроде как восстанавливается при смене метатега, а вот с гуглом всегда разборки
Собственно проблему нун разбирать в этом разделе Вопросы к администрации, отдельной темой и, желательно иметь больше голосов, ибо нужна реакция Админа, или хотя бы комментарий, ибо ранее было говорено, что robots.txt есть как есть и правиться не будет. Но с весны начались эпизодические вопросы
Отредактировано Deff (Вс, 27 Дек 2015 01:12:47)
Поделиться3Пн, 28 Дек 2015 17:30:11
Для чего тогда в админках страницы раскрутки? Как форум раскручивать если его не индексируют.Смысыл от таких форумов.Что они этим запретом добъются.
Поделиться4Пн, 28 Дек 2015 17:43:56
- Администратор
- Зарегистрирован: Чт, 11 Дек 2014
- Сообщений: 11405
- Уважение: +7818
- Позитив: +5593
- Пол: Мужской
- Последний визит:
Вчера 21:37:32
vov4ik32
Ни наю, на всех форумах, у которых снят запрет на индексацию, robots.txt выглядит так => https://forum.mybb.ru/robots.txt
Запрет на индексацию снимается через некоторое время после регистрации форума
Поделиться5Пн, 28 Дек 2015 19:03:50
- без бороды и бубна
- Зарегистрирован: Вт, 26 Сен 2006
- Сообщений: 4185
- Уважение: +4060
- Позитив: +222
- Пол: Мужской
- Последний визит:
Пт, 21 Фев 2020 11:49:55
Была проблема, исправили.
Поделиться6Пн, 28 Дек 2015 20:26:26
- Заслуженный
- Зарегистрирован: Пт, 15 Апр 2011
- Сообщений: 1186
- Уважение: +163
- Позитив: +688
- Пол: Женский
- Последний визит:
Ср, 8 Янв 2025 17:05:52
Admin написал(а):
Была проблема, исправили.
https://beta.webmaster.yandex.ru пишет: "При последнем обращении к файлу robots.txt было обнаружено, что сайт закрыт для индексации. Убедитесь в корректности файла robots.txt, иначе сайт может полностью пропасть из поиска.". Скрин прилагаю:
форум: Ссылка
Отредактировано Чаечка (Пн, 28 Дек 2015 20:27:09)
Поделиться7Пн, 28 Дек 2015 22:22:09
Admin написал(а):
Была проблема, исправили.
Спасибо огромное, всё починили. Только вот не понятно что это за новшевство в строчках robots.txt:
Sitemap: http://.мойфорум/sitemap.xml
Я имею ввиду точка после http:// Чегото нигде не нашел в мануалах ни в гугле ни в яндексе, зачем эта точка идет. Это случайно не глюк?
Поделиться8Вт, 29 Дек 2015 00:04:47
- Заслуженный
- Зарегистрирован: Вт, 7 Окт 2008
- Сообщений: 310
- Уважение: +23
- Позитив: +7
- Пол: Мужской
- Последний визит:
Сб, 8 Апр 2017 22:00:19
verger
В Линуксе точка перед именем файла или каталога означает что он скрытый, в смысле не отображается в файловом менеджере если не включать опцию "Показывать скрытые файлы и каталоги".
Отредактировано CAB (Вт, 29 Дек 2015 00:07:18)
Поделиться9Вт, 29 Дек 2015 00:41:19
Это все понятно, только поисковики не линукс, им нужна прямая исправная ссылка, а если там стоит точка, запятая, да хоть рожица кривая, хоть в линуксе хоть в виндоусе не один бот не перейдет по этой ссылке, ибо при переходе получит в ответ 404 страницу. И пессимизирует ваш сайт. Я понимаю эту точку со зрения сервера, но вот чую что она как раз линуксом сервером там и возникла, по багу, а так не должно ее там быть ни в коем случае
Поделиться10Вт, 29 Дек 2015 19:09:21
- Заслуженный
- Зарегистрирован: Ср, 15 Май 2013
- Сообщений: 112
- Уважение: +2
- Позитив: +54
- Последний визит:
Сб, 9 Май 2020 02:17:28
Наш форум http://shegolevmaxim.ru/ уже два года не индексируется на Яндексе, хотя до этого индексировался. Я писала в теме "Продвижение и раскрутка форумов", делала всё, что советовали, но всё бесполезно. А что ещё делать и куда обращаться я не знаю.
Поделиться11Ср, 30 Дек 2015 21:15:44
А
Отредактировано urallsila (Вс, 4 Июл 2021 12:58:50)
Поделиться12Чт, 31 Дек 2015 00:59:46
Anetta 35 написал(а):
Наш форум http://shegolevmaxim.ru/ уже два года не индексируется на Яндексе
http://webmaster.ya.ru/replies.xml?item_no=20143
На вскидку где ваши ссылки идут:
http://salda.ws/video.php?id=gfpPrwT8RgI
http://mymbee.ru/soralo/russian/maksim- … im-ru.html
http://phantruongphuc.com/xem-video-onl … CEvos.html
...1640 страниц. Может вы и не причем, никаких ссылок и не покупали, обычное дело, у многих белых пушистых выкинуло, тогда пишите Платону в yandex webmaster, разбирайтесь.
Поделиться13Чт, 31 Дек 2015 12:25:42
Я
Отредактировано urallsila (Вс, 4 Июл 2021 12:58:29)
Поделиться14Вт, 5 Янв 2016 18:09:27
- без бороды и бубна
- Зарегистрирован: Вт, 26 Сен 2006
- Сообщений: 4185
- Уважение: +4060
- Позитив: +222
- Пол: Мужской
- Последний визит:
Пт, 21 Фев 2020 11:49:55
verger написал(а):
Sitemap: http://.мойфорум/sitemap.xml
Какой адрес форума?
Поделиться15Сб, 9 Янв 2016 13:59:12
Уважаемые!
Я не очень понимаю, почему в robots.txt стоит запрет на индексацию всего сайта аж дважды, а также запрещены /img/ /uploads/
И как можно это редактировать?
Гугля мне высыпает стопятсот заблокированных страниц и предлагает изменить этот файл, но я к нему что-то доступа не имею. 
Очень хотелось бы поправить это дело. Или я что-то не так понимаю...
Alex_63 написал(а):
robots.txt выглядит так => https://forum.mybb.ru/robots.txt
да, выглядит именно так и несколько строк очень смущают.
User-agent: *
Disallow: /admin
.............
User-agent: Googlebot
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id=
Disallow: / (это разве не запрет индексации всего сайта?)
Sitemap: http://.lili.5bb.ru/sitemap.xml
User-agent: Googlebot-Image
Allow: /img/avatars/
Allow: /uploads/
Disallow: / (и ещё раз стоит запрет???)
User-agent: YandexBot
Allow: /$
Allow: /pages/
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id=
Disallow: / (и опять???)
Sitemap: http://.lili.5bb.ru/sitemap.xml
Clean-param: invite /
Clean-param: action&pid /viewtopic.php
Crawl-delay: 0.1
Host: .lili.5bb.ru
User-agent: YandexImages
Allow: /img/avatars/
Allow: /uploads/
Disallow: / (и снова???)
Разве разрешение на индексацию не пишется БЕЗ слеша?
Спасибо.
Отредактировано Лора (Вт, 12 Янв 2016 16:51:44)
Страница: 1