Единый форум поддержки

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.


Вы здесь » Единый форум поддержки » Корзина » что это такое запрещенной к индексации файлом robots.txt!


что это такое запрещенной к индексации файлом robots.txt!

Сообщений 1 страница 14 из 14

1

Я хотела произвести обмен банерами  и вот что мне прислали, как это можно исправить.

Вы разместили нашу ссылку на странице,
запрещенной к индексации файлом robots.txt!

0

2

ТатьянаБ
а где вы разместили баннер? :)
страница http://prizrak.ws/misc.php?action=rules не индексируется это правила. размещайте на главной! ;)

0

3

prizrak написал(а):

а где вы разместили баннер?

я заполняла карточку обратной связи и там надо было указать   страницу  на которой их баннер размещен, только после этого они меня включат в свой рпздел, это  сайт  МАТЕРИНСТВО   с ТИЦ  3500 ,  но  они выдали вот такую запись, и невключили меня в свой список.

http://detirazumeiki.9bb.ru/  вот главная страница где я размещаю баннеры,  это уже  5  сайт  который выдает  такое.

что можно сделать.

0

4

Неужели в robots.txt запрещено индексировать главную страницу форума  :tired:  ППЦ!(

0

5

кто то может мне помочт с этим разобраться,  это я что то накосячила или просто форумы МуВВ  не могут индексироваться поисковиками..

Может что то надо изменить в настройках   ...................самого форума...ЧТО БЫ  ПОИСКОВИКИ МОГЛИ ИНДЕКСИРОВАТЬ..

Роботы поисковых систем при входе на сайт первым делом обращаются к файлу robots.txt, чтобы получить инструкции к дальнейшему действию и узнать, какие файлы и директории запрещены к индексированию. Поэтому веб-мастеру крайне необходимо знать, как правильно написать этот файл, так как ошибки в нём могут привести к очень плачевным последствиям. Ещё раз повторимся и уточним, что файл robots.txt ничего не разрешает к индексации, а только запрещает. И ещё один нюанс. Он не является стопроцентным указанием для поисковых роботов. Скорее можно сказать, что он является рекомендательным документом.

Файл robots.txt – обыкновенный файл с расширением txt, который создают с помощью Блокнота и располагают в корневой директории конкретного сайта и который содержит инструкции по индексации для поисковых роботов. Инструкции могут быть, как и общие, так и для конкретных роботов отдельные.

А теперь немного подробнее о файле robots.txt.

Основные правила при создании и загрузке файла robots.txt:
- не путать название, то есть называть файл robots.txt, а не robot.txt и так далее.
- писать название файла robots.txt обязательно в нижнем регистре, то есть robots.txt, а не Robots.txt и ROBOTS.TXT и так далее.
- размещать файл robots.txt именно в корневой директории сайта, а не в каком другом месте.

Также очень важно грамотное содержание файла robots.txt, поэтому расскажу подробнее об этом моменте. Ошибки в содержании этого файла могут привести к тому, что сайт или отдельные его директории или файлы не будут проиндексированы.

Итак, из чего же состоит содержание файла robots.txt? Вот примерное его содержание:

User-agent: *
Disallow: /adminka/
Disallow: /image/

Давайте разберём содержание этого файла.
Первая строка «User-agent: *». Звёздочка в инструкции User-agent обозначает, что данная инструкция относится ко всем поисковым роботам. Если инструкция предназначена для конкретного поискового робота, то необходимо прописать его имя.
Вторая и третья строка запрещают индексацию директорий adminka и image. Обратите внимание, что каждая запрещённая к индексации директория прописана в отдельной строке. Совмещение их в одной строке является грубой ошибкой. Также нельзя переносить строки в пределах одной инструкции.

Для поискового робота Яндекса актуально также писать директиву Host. Эта директива указывает роботу на основное зеркало этого сайта. В этой директиве можно прописать адрес сайта либо с www, либо без www. Какая разница спросите вы? Да никакой. Можно указывать и так, и так. Всё зависит исключительно от вашего желания. Никаких ограничений и ущемлений для вашего сайта не будет. Правильно написать директиву Host нужно так:

User-agent: Yandex
Disallow: /adminka/
Host: site.ru

А теперь приведу конкретные примеры написания файла robots.txt для различных задач.

1. Запретить весь сайт к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /

2. Не запрещать весь сайт к индексации всеми поисковыми роботами.

User-agent: *
Disallow:

3. Запретить весь сайт к индексации одним поисковым роботом (например, SeoBot).

User-agent: SeoBot
Disallow: /

4. Не запрещать весь сайт к индексации одному роботу (например, SeoBot) и запретить к индексации всем остальным поисковым роботам.

User-agent: SeoBot
Disallow:

User-agent: *
Disallow: /

5. Запретить несколько директорий к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /directoria-1/
Disallow: /directoria-1/
Disallow: /hidedirectoria/

6. Запретить несколько файлов к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /hide.php
Disallow: /secret.html

Какие же ошибки следует не допускать в написании содержимого файла robots.txt?

Вот основные правила написания содержимого файла robots.txt:

1. Писать содержимое файла нужно только в нижнем регистре.
2. В каждой инструкции Disallow указывать только одну директорию или один файл.
3. Не менять местами инструкцию Disallow и User-agent.
4. Не оставлять пустой строку User-agent. Если инструкция относится ко всем поисковым роботам, то писать звёздочку, а если к конкретному поисковому роботу, то писать его имя.
5. В директиве Host (для Яндекса) адрес писать нужно без протокола http:// и без закрывающего слеша /.
6. Не нужно использовать символы подстановки в инструкции Disallow в виде звёздочки и прочих символов.
7. Стараться не писать комментарии к инструкциям в одной строке с инструкциями.
8. Нельзя пропускать инструкцию Disallow. Если вы не собираетесь ничего запрещать к индексации, то оставьте эту инструкцию пустой.
9. При запрещении к индексации директорий обязательно прописывать слеши.
10. Самое главное правило – прежде чем залить файл robots.txt на сервер сайта нужно сто раз его проверить и перепроверить во избежание дальнейших недоразумений.

Отредактировано ТатьянаБ (Пт, 18 Июл 2008 17:31:37)

0

6

КАК  МОЖНО СДЕЛАТЬ  ЧТО БЫ ГЛАВНУЮ СТРАНИЦУ ПОИСКОВИКИ ИНДЕКСИРОВАЛИ...

оптимизация раскрутка и продвижение сайтов (страница 190):

• ссылка должна быть прямой;
• страница, на которой размещена ссылка, должна быть индексируемой, т.е. не запрещенной для индексации в файле robots.txt или в мета-теге;
• ссылка должна быть индексируемой, т. е. не запрещенной для индексации в мета-теге robots либо с помощью атрибута тега rel="nofollow", а также не находиться во фрагменте кода, запрещенного для индексирования с помощью тега noindex.

эти теги где можно истравить, кто то знает,  подскажите....

Отредактировано ТатьянаБ (Пт, 18 Июл 2008 17:30:43)

0

7

ТатьянаБ написал(а):

ВОТ ЧТО Я НАШЛА

ой столько букв...

ну может кто-то и осилит)

0

8

Marisol' написал(а):

ну может кто-то и осилит)

читать  все это и не надо

я прошу кто в этой теме разбирается  помощь мне, понять в чем это дело, 

Это в  самом  форуме , тоесть в платформе    ИЛИ ЭТО я что то накосячила  с разного рода  тегами....

Я хочу  зарегистрироваться  в нескольких   каталогах  и произвести  обмен  банарами, а мне  пишут  при регистрации ,  что  меня  не могут проиндексировать

0

9

вот еще два поисковика то же самое  написали, у кого были такие проблемы  или нет  .............................

0

10

не знаю..я регилась вроде тока в гугле. яндексе и рамблере - проьблдем не было.а в мелких не регилась) итак хорошо))

0

11

вот хочу  в детском катологе зарегистрироваться а мне пишут 

что это может быть

Индексация страницы http://detirazumeiki.9bb.ru/ заприщена с помощью robots.txt

как это можно исправить, а то я вообще что то не могу негде себя прописать.

http://kinklub.com/?add=2  вот в этом катологе хотела зарегится.

0

12

ТатьянаБ написал(а):

Индексация страницы http://detirazumeiki.9bb.ru/ заприщена с помощью robots.txt

robots.txt прописывает админ сервиса мы не можем к сожалению его изменять :(

0

13

prizrak написал(а):

robots.txt прописывает админ сервиса мы не можем к сожалению его изменять

а что это для админа  серьезно,  А КАК ТОГДА  О СЕБЕ НАРОДУ  ЗАЯВИТЬ, ЕСЛИ Я КУДА НЕ ПОДАМ ВЕЗЬДЕ ТАК,

0

14

ТатьянаБ написал(а):

Я хотела произвести обмен банерами  и вот что мне прислали, как это можно исправить.

Вы разместили нашу ссылку на странице,
запрещенной к индексации файлом robots.txt!

сюда по http://ip-whois.net/analysis.php?url=detirazumeiki.9bb.ru/
у вас вообще отсутствует этот файл.

0


Вы здесь » Единый форум поддержки » Корзина » что это такое запрещенной к индексации файлом robots.txt!