Зарегистрируйся и начни экономить!

Парсинг сайта

Тема в разделе "Свободное общение", создана пользователем Demidka, 10 дек 2017.

  1. 10 дек 2017
    #1
    Demidka
    Demidka ЧКЧлен клуба
    Народ, подскажите
    VPS парсит сайт, сайт защищает данные через блокировку по IP
    Какие есть способы обхода?
     
  2. 10 дек 2017
    #2
    Im MT
    Im MT МодерМодератор Команда форума
    запросы часто не шли
    и ставь заголовки/куки реального пользователя, а не бота
     
    1 человеку нравится это.
  3. 10 дек 2017
    #3
    Demidka
    Demidka ЧКЧлен клуба
    а ipv4 -ipv6 поможет?
     
  4. 10 дек 2017
    #4
    Im MT
    Im MT МодерМодератор Команда форума
    только через пробу ты познаешь, что поможет, а что нет :)
    защита не у всех одна, но если ты шлешь over9000 запросов в секунду, то тут ничего не поможет
     
  5. 8 фев 2018
    #5
    storm24
    storm24 ДолжникДолжник
    Друзья, подскажите есть ли видеокурс, где на пальцах объясняют как парсить с помощью Content Downloader X1? Что-то никак не могу найти ничего подобного, а на автрском ресурсе вообще не понятно. Может кто-нибудь замутит авторскую? Я бы с удовольствием приобрел бы, надеюсь, таких же как и я будет достаточно много.
     
  6. 12 фев 2018
    #6
    Huligan3
    Huligan3 ДолжникДолжник
    Привет так на ютубе глянь да на форумах погугли короче информация есть.
     
  7. 15 фев 2018
    #7
    orka13
    orka13 ЧКЧлен клуба (А)
    Встречал сайты со всякими защитами. Почти всегда можно было их запросами (без браузера) спарсить. Помогала связка ZennoPoster + полу-приватные прокси (10-30К прокси от AWM-Proxy).
     
  8. 6 июн 2018
    #8
    xameleons
    xameleons ДолжникДолжник
    Подскажите прогу для парса сайтов?по возможности если есть с выгрузкой бд если такое есть:oops: