Единый форум поддержки

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.


Вы здесь » Единый форум поддержки » Корзина » Внешний парсинг форумов на mybb


Внешний парсинг форумов на mybb

Сообщений 1 страница 10 из 10

1

Добрый день, уважаемая администрация и пользователи сервиса.

Прошу внести ясность (если это возможно)

Я написал простенький скрипт на php, для анализа и парсинга форумов на вашем сервисе, вот приведу его кусочек:

Код:
    $url = "forum.mybb.ru";
    
    define('ONE_PAGE_PARSE_TIMEOUT', 30);

    function sFileGetContent($sUrl) {
      $sContent = '';
      $sUrl = str_replace('http://', '', $sUrl);
      $_aTmp = explode('/', $sUrl);
      $sDomain = $_aTmp[0];
      $sGet = str_replace($sDomain, '', $sUrl);
      $fp = fsockopen($sDomain, 80, $errno, $errstr, ONE_PAGE_PARSE_TIMEOUT);
      if (!$fp) {
      } else {
          $out = "GET $sGet HTTP/1.0\r\n";
          $out .= "Host: $sDomain\r\n";
          $out .= "Accept: text/html, application/xml;q=0.9, */*;q=0.1\r\n";
          $out .= "Accept-Charset: windows-1251, utf-8;q=0.6, *;q=0.1\r\n";
          $out .= "Accept-Encoding: deflate, gzip, identity, *;q=0\r\n";
          $out .= "Accept-Language: ru\r\n";
          $out .= "Connection: close\r\n";
          $out .= "Keep-Alive: 300\r\n";
          $out .= "Expires: Thu, 01 Jan 1970 00:00:01 GMT\r\n";
          $out .= "Cache-Control: no-store, no-cache, must-revalidate\r\n";
          $out .= "Pragma: no-cache\r\n";
          $out .= "Cookie: income=1\r\n";
          $out .= "User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.2.1) Gecko/20021204\r\n";
          $out .= "Referer: http://$sDomain/\r\n";
          $out .= "Connection: Close\r\n\r\n";
          fwrite($fp, $out);
          while (!feof($fp)) {
            $sContent .= fgets($fp, 2048);
          }
          fclose($fp);
      }
      return $sContent;
    }

    $string = sFileGetContent ("http://".$url."/"); 
    echo $string;
    exit;

Но он не работает (хотя должен)!!!

Пробовал так же и простыми классическими методами через функции:

Код:
$string = file_get_contents("http://".$url."/");
$string = implode('', file ("http://".$url."/"));

Далее анализирую контент форумов, как мне нужно.

А теперь вопрос, не стоит ли на сервисе каких либо запретов на подобные деяния из вне?
Имею исключительно благие и добрые намерения, сделать наш мир лучше :)

p.s.
тему с rss экспортом видел и читал.

0

2

IliaY написал(а):

А теперь вопрос, не стоит ли на сервисе каких либо запретов на подобные деяния из вне?

кто ж вам скажет!? :D

0

3

А как иначе вытащить статистику форума?
Кол-во сообщений, тем и пользователей?

0

4

77.222.40.195
Не заблокирован ли этот ip?
Я с него делаю запросы и не получаю ответы от сервисов mybb
С моих других серверов все работает, как надо.

0

5

IliaY написал(а):

А как иначе вытащить статистику форума?Кол-во сообщений, тем и пользователей?

Пробуйте распасить поиск в профиле Юзера. - все сообщения пользователя.. это поиск по сообщениям

По темам нун делать запрос в Поиске по форуму указуя ник Автора

По кол-ву

IliaY написал(а):

пользователей

- нун парсить участников

Можно часть данных вытащить с http://webtalk.ru/ cм > Участников Тем Сообщений Основан

Отредактировано Deff (Вт, 4 Окт 2011 15:41:51)

0

6

Любые сервисы от mybb  (в том числе и форумы партнеров) с моего ip блокируются.
Даже местный поисковик ВебТалк.ру :(
Поэтому вообще ничего не могу парсить.
Вот я и предполагаю, что ip моего сервера забанен. Так ли это, хотелось бы знать наверняка, что бы его поменять, если что :) (хотелось бы меньше всего)

0

7

IliaY написал(а):

Любые сервисы от mybb  (в том числе и форумы партнеров) с моего ip блокируются.Даже местный поисковик ВебТалк.ру

Мон обмануть и парсить через Гугол

http://translate.google.com/translate?hl=ru&sl=en&u=http://forum.mybb.ru/

Но по-моему - там чичас защита - -скриптом и фреймом стали делать

Отредактировано Deff (Вт, 4 Окт 2011 15:45:50)

0

8

Ооо!!!

Спасибо за наводку про гугл :)

Конетнт сливается обычным образом с других моих серверов, у них ip другие.
А вот с этого ip не получается 77.222.40.195

Отредактировано IliaY (Вт, 4 Окт 2011 15:52:28)

0

9

IliaY Если парсите с данного IP пробуйте парсить через анонимайзер - так жа можно подать жалобу о разбане(тут Ддос атаки давеча были >  Админ не может попасть на форумы MYBB. Помогите!!!

0

10

В итоге сделал через другой сервер.
То что нужно теперь работает с другого ip.

Всем спасибо!

0


Вы здесь » Единый форум поддержки » Корзина » Внешний парсинг форумов на mybb