MonsterParser2Gis - многопоточный парсер 2 гис + доп. парсер Email (работает на API) Доступ навсегда

Тема в разделе "Бизнес и свое дело", создана пользователем zennomonster, 18 янв 2019.

Статус обсуждения:
Комментирование ограничено.
  1. 18 янв 2019
    #1
    zennomonster
    zennomonster ЧКЧлен клуба
    [​IMG]
    Всем привет! Представляю Вашему вниманию парсер компаний с сайта 2Gis.

    Парсер работает по API в многопоточном режиме. Работает очень быстро, не требует прокси для работы

    По просьбам участников форума изменил условия, теперь доступ выписывается навсегда, без ограничений по времени. Все обновления и улучшения скрипта - бесплатно!

    Уникальность парсера в том, что он собирает данные не только с 2Gis.

    Дело в том, что 2 гис показывает далеко не все Email адреса компаний, которые там размещены. Этот парсер собирает все данные, которые есть в дубль гис + собирает Email адреса с каталога jsprav.ru и если Email адреса нет в обоих каталогах, парсер делает запросы на сайт компании, и если на главной странице или на странице контактов указан Email, парсер получает его и сохраняет в базу.​

    Таким образом парсер собирает максимальное количество Email адресов компаний, которое возможно.

    [​IMG]

    Кроме того, есть функция, которая делает запрос на сайт rusprofile.ru и получает ФИО директора компании, на которого она оформлена. ФИО удаётся получить не часто, т.к. бывает что есть несколько компаний с одним названием и определить какая именно компания нам нужна не возможно. Но где это возможно и компания с таким названием в регионе одна, парсер берёт ФИО директора и сохраняет в базу.

    [​IMG] Парсинг всех данных с 2Gis
    [​IMG] Дополнительный парсинг Email с каталога jsprav.ru
    [​IMG] Дополнительный парсинг Email с сайта компании
    [​IMG] Парсинг ФИО каталога rusprofile.ru

    Все данные сохраняются в Excel таблицу в удобном для работы виде:

    [​IMG]

    [​IMG] Название компании
    [​IMG] Рубрика
    [​IMG] Город
    [​IMG] Адрес
    [​IMG] Email адреса
    [​IMG] Телефоны
    [​IMG] ФИО директора
    [​IMG] ВКонтакте
    [​IMG] Facebook
    [​IMG] Instagram
    [​IMG] Twitter
    [​IMG] Сайт компании
    [​IMG] YouTube
    [​IMG] Одноклассники
    [​IMG] Количество филиалов
    [​IMG] ID компании
    [​IMG] Широта
    [​IMG] Долгота

    Цена 1900 руб. с человека.

    Доступ выписывается навсегда

    Все обновления и улучшения программы, а так же техническая поддержка бесплатно!

    На форуме буду регулярно. Веду этот проект и несколько других. В случае каких то изменений в 2гис буду оперативно обновлять скрипт и поддерживать его актуальность

    Бонус:
    - Всем за рекламу в рамках правил (4 поста в смежных темах либо ссылка в подписи) будет увеличено количество потоков, что увеличит скорость парсинга.
    В стандартной версии максимальное количество потоков - 10.
    В бонусной версии - 20 потоков.
     
    Последнее редактирование модератором: 19 янв 2019
    3 пользователям это понравилось.
  2. 18 янв 2019
    #2
    InoGram
    InoGram ЧКЧлен клуба
    Вот, другое дело, молодцом, прислушался к нашим просьбам ...
    Хоть я и купил другой парсер, твой тоже возьму.
     
    4 пользователям это понравилось.
  3. 19 янв 2019
    #3
    Хэнк Муди
    Хэнк Муди ОргОрганизатор
    С удовольствием взял бы на проверку
     
  4. 19 янв 2019
    #4
    InoGram
    InoGram ЧКЧлен клуба
    2 пользователям это понравилось.
  5. 19 янв 2019
    #5
    tema2801
    tema2801 ДолжникДолжник
  6. 19 янв 2019
    #6
    Chess Master
    Chess Master ЧКЧлен клуба
  7. 20 янв 2019
    #7
    skladchikum
    skladchikum ЧКЧлен клуба
    Поставил в подпись
     
    1 человеку нравится это.
  8. 20 янв 2019
    #8
    zennomonster
    zennomonster ЧКЧлен клуба
    Отметил. Записаться не забудьте ;)
     
  9. 20 янв 2019
    #9
    InoGram
    InoGram ЧКЧлен клуба
    @zennomonster как специалист, скажите, в 2gis после НГ менялось что то на сайте?
     
  10. 21 янв 2019
    #10
    InoGram
    InoGram ЧКЧлен клуба
    @zennomonster при каких условиях стартуем?
     
  11. 21 янв 2019
    #11
    mironoff
    mironoff ДолжникДолжник
  12. 21 янв 2019
    #12
    mironoff
    mironoff ДолжникДолжник
    Поставил в подпись.
     
    1 человеку нравится это.
  13. 21 янв 2019
    #13
    pulvik
    pulvik ЧКЧлен клуба
  14. 21 янв 2019
    #14
    OrangeCat
    OrangeCat МодерМодератор Команда форума
    Поставил в подпись.
     
    1 человеку нравится это.
  15. 23 янв 2019
    #15
    zennomonster
    zennomonster ЧКЧлен клуба
    Всем привет!

    В плане парсинга особо ничего не поменялось

    При наборе 20 участников складчины
     
  16. 23 янв 2019
    #16
    Vaultboy
    Vaultboy ДолжникДолжник
    сколько по времени парсит полную базу в 10/20 потоков?
     
  17. 24 янв 2019
    #17
    smillionov
    smillionov СкладчикСкладчик
    Привет, подскажи пожалуйста Как старт планируется ; от кол-ва чел в складке или на какую то дату будет сбор?
    + еще нужен проверяющий и орг...
    - по времени наверное долго собираться будем
     
  18. 24 янв 2019
    #18
    Vadim321
    Vadim321 ЧКЧлен клуба
    В подписи!
     
    1 человеку нравится это.
  19. 24 янв 2019
    #19
    zennomonster
    zennomonster ЧКЧлен клуба
    Привет! Складчина стартует при наборе 20 участников. Меньше чем за неделю собралось 10 участников... Так что я думаю скоро начнём
     
    1 человеку нравится это.
  20. 25 янв 2019
    #20
    Carbofoss
    Carbofoss ЧКЧлен клуба
    1 человеку нравится это.
Статус обсуждения:
Комментирование ограничено.