Адрес форума: strannic.xyz / strannic.mybb.ru
Проблема: Молчание 443 и 80 портов при попытке постучаться из подсети 194.28.89.121.
А теперь подробнее 
Пытаюсь скраулить форум обычным сео-пауком с целью извлечения всех постов определенного человека. После единичного запуска краулера (собрано ~треть страниц) форум просто перестал отвечать на запросы по http и https, по словам нейронки - это блокировка на уровне принимающего запросы сайта.
Как это отключить (хотя бы временно, т.к. мне надо пару дней для полного краулинга сайта с корректировками настроек и тд)?
Трейсроут и курл в спойлере.
Трассировка маршрута к strannic.xyz [91.194.2.84]
с максимальным числом прыжков 30:1 <1 мс <1 мс <1 мс OpenWrt.lan [192.168.1.1]
2 1 ms 1 ms 1 ms 194.28.89.121
3 2 ms 3 ms 2 ms 194.28.89.49
4 2 ms 2 ms 2 ms 212.110.156.72
5 * * * Превышен интервал ожидания для запроса.
6 79 ms 49 ms 26 ms m10-ix-ge0-1.3.mipt.ru [195.208.208.113]
7 72 ms 71 ms 71 ms p2p.telecom.mipt.ru [81.5.81.38]
8 81 ms 80 ms 81 ms 91.194.2.84
* Trying 91.194.2.84:443...
* connect to 91.194.2.84 port 443 failed: Timed out
* Failed to connect to strannic.xyz port 443 after 21037 ms: Couldn't connect to server
* Closing connection
curl: (28) Failed to connect to strannic.xyz port 443 after 21037 ms: Couldn't connect to server
Это не стягивание БД, это обычный кроул ХТМЛ-страниц О.о
Из-под ВПН или другой подсети работает корректно, т.е. проблема судя по всему на стороне форума, а не провайдера.
Отредактировано Лекс Даэ (Чт, 22 Май 2025 19:58:59)
