Закрыто

[Повтор] Парсер дропов - помощь дорвейщику

Тема в разделе "Бизнес и свое дело", создана пользователем Hozy84, 13 ноя 2017.

Цена: 37868р.
Взнос: 2000р.
100%

Основной список: 22 участников

Резервный список: 1 участников

Статус обсуждения:
Комментирование ограничено.
  1. 13 ноя 2017
    #1
    Топикстартер
    Топикстартер ЧКЧлен клуба

    Складчина: [Повтор] Парсер дропов - помощь дорвейщику

    Здравствуйте товарищи!
    Хочу предложить вам парсер дропов (освободившихся доменов) по заданным критериям.
    Работать будем с сайтом

    Данная складчина является ПОВТОРОМ.

    Отзывы из первой https://v21.skladchik.org/threads/П...-помощь-дорвейщику-zennoposter.170623/reviews
    2017-11-13_14-58-47.png

    Шаблон имеет расширенный функционал, по сравнению с предыдущей версией и думаю на этом работа не будет остановлена.

    Что же умеет шаблон в данный момент

    ПАРСИНГ
    1. Парсинг 98 доменных зон (на выбор);
    2. Выбор периода прошедшего с момента освобождения доменов:
    - 12 часов;
    - 24 часа;
    - 7 дней.
    3. Учитывает наличия данных в similarweb (опционально);
    4. Учитывает наличие AlexaRank (опционально);
    5. Наличие слова в наименовании домена (опционально);
    6. Наличие трафика по Google Us (опционально);
    7. Поток цитирования (макс. значение - опционально);
    8. Поток доверия (мин. значение - опционально).

    ПРОВЕРКА ЗАНЯТОСТИ
    Шаблон парсит свободные домены, но бывает, что их быстро регистрируют, данная функция проверяет свободность домена в соответствующем сервисе уже после парсинга.

    ПРОВЕРКА ИНДЕКСА
    Проверка количества страниц в индексе:
    - Яндекса;
    - Bing:
    - Google.

    ПРОВЕРКА ИСТОЧНИКА ТРАФИКА
    Шаблон проверяет, был ли поисковый трафик на домене используя сервис similarweb.

    ПРОВЕРКА ИНЫХ ПАРАМЕТРОВ
    - MozRank;
    - AlexaRank:
    - Google безопасность;
    - Зараженность домена;
    - Наличие ссылок по Moz:
    - Наличие ссылок по LinkPad:
    - Траст по MyWot.

    ФИЛЬТРАЦИЯ
    Используется алгоритм умной фильтрации исходя из интересующих вас параметров и их значений.

    Все данные формируются в таблице xlsx, что позволяет самостоятельно проанализировать полученный результат.

    Все функции работают как вместе, так и по отдельности.
    Это значит, что если вы парсите домены самостоятельно, в другом месте, то вы можете добавить их в таблицу и запустить интересующую вас проверку.


    ОГРАНИЧЕНИЯ
    - версия зеннопостера лицензии от lite и версии не ниже 5.10.5;
    - за один проход шаблон парсит не более 5 доменных зон (во избежании банов);
    - работает в один поток.

    ЧТО ПОТРЕБУЕТСЯ
    - zennoposter;
    - прокси (подойдут пакетные, какие и где брать советую (4.9$ за 100 штук на месяц)).


    ВНИМАНИЕ
    Шаблон парсит домены, но их надо еще и зарегистрировать за ваши деньги.

    Хороших дропов не так много, надо постоянно мониторить. В этом вам поможет встроенное в zennoposter расписание.

    Предупреждаю сразу, дропы разбирают довольно быстро.

    БУДЕТ ZENNOBOX для нуждающихся (+ $12).

    БОНУСЫ
    Уникализатор и проверятор картинок - обновленная версия.

    Реклама в 3 смежных складчинах не нарушая правила клуба до объявления даты сборов.
     
    Последнее редактирование модератором: 21 ноя 2017
    3 пользователям это понравилось.
  2. Последние события

    1. MasterOfPins
      MasterOfPins оставил отзыв "Отлично".
      7 дек 2017
    2. kermlinRnd
      kermlinRnd оставил отзыв "Отлично".
      7 дек 2017
    3. skladchik.com
      Складчина закрыта.
      29 ноя 2017
    4. skladchik.com
      Складчина доступна.
      29 ноя 2017

    Последние важные события

    1. skladchik.com
      Складчина закрыта.
      29 ноя 2017
    2. skladchik.com
      Складчина доступна.
      29 ноя 2017
    3. skladchik.com
      Складчина активна.
      27 ноя 2017
    4. skladchik.com
      Сбор взносов начинается 27.11.2017.
      25 ноя 2017
  3. Отзывы участников

    5/5,
    • 5/5,
      Работой организатора доволен
      Все заявленное в складчине - работает.
      Из плюсов:
      Шаблон для лентяев - запустил и получил полную информацию по доменам, которые доступны в данный момент. Автор постоянно что-то пилит-допиливает.

      Из минусов:
      Мне работа шаблона показалась медленной, т.к. на проверку списка уходит более часа. Но, тут ничего не поделаешь - это плата за стабильность, т.к. зенка работает в один поток. Впрочем, делать все тоже самое руками - займет не один день.

      Ну и итог - советую шаблон к покупке, если вам нужно ежедневно регистрировать несколько доменов для дорвеев, экономия времени на подбор домена будет приличной. Автор допиливает продукт не смотря на большой охват пузомерок и полноценный функционал, что гарантирует нам увеличение возможностей и возможно скорости работы.
      7 дек 2017
      3 пользователям это понравилось.
    • 5/5,
      Работой организатора доволен
      Для меня это Самый лучший продукт который я покупал на этом ресурсе)
      Автор просто мега крутой!! дорабатывает шаблон так что он уже скоро будет сам их покупать и делать доры)))
      Так же терпение у автора железное)))
      По самому шаблону скажу что идеальный инструмент для дорвейщика тк с данными что выдает шаблон можно собрать статистику
      Побольше бы таких складчин))
      7 дек 2017
      2 пользователям это понравилось.
  4. Обсуждение
  5. 13 ноя 2017
    #2
    Hozy84
    Hozy84 БанЗабанен
    Условия получения бонуса - реклама в 3 смежных темах.

    ИЗМЕНЕНИЯ - ПРЕДУПРЕЖДЕНИЯ

    ПРОВЕРКА ЗАНЯТОСТИ

    Сервис, который использовали начал бороться с нами и как оказалось отдавал не всегда верные данные.
    Пришлось его сменить. Теперь проверка происходит через api регистратора godaddy и у них есть ограничения на доменные зоны, а именно можно чекать:

    ПРОВЕРКА ИСТОЧНИКА ТРАФИКА

    Проверка поискового трафика происходит в сервисе similarweb. Они поменяли алгоритмы и теперь у них система работает через раз, о чем они сами и сообщают. Я так думаю наладится все.

    ПРОВЕРКА ИНЫХ ПАРАМЕТРОВ
    Ранее заявлялись параметры:
    - MozRank;
    - AlexaRank:
    - Google безопасность;
    - Зараженность домена;
    - Наличие ссылок по Moz:
    - Наличие ссылок по LinkPad:
    - Траст по MyWot.

    Сервис, с которого собирались данные, ввел ограничения на количество проверок и каптчу на каждую проверку.
    По этому пришлось менять сервис, но и данных с него мы получаем меньше, а именно:
    - MozRank Domain;
    - MozRank Page;
    - AlexaRank.

    Решил вас предупредить, что бы не было недопониманий.

    Это не значит, что так все и останется. Будут подключаться новые сервисы и будет улучшаться работа с уже интегрированными.
    Есть активные ребята из первого потока, которые делятся со мной своим опытом и найденными сервисами. За что им спасибо.
    Надеюсь и вы будете проявлять активность.

    АП
    Добавлен парсинг значений безопасности по гуглу и яндексу, а также траста по MyWot.
     
    Последнее редактирование модератором: 26 ноя 2017
  6. 13 ноя 2017
    #3
    cranston
    cranston ЧКЧлен клуба
    Бонус с подписью для участников первой складчины возможен?
     
  7. 13 ноя 2017
    #4
    AlexanderSeo
    AlexanderSeo ЧКЧлен клуба
    у меня 5.8.0.2 - я в пролете?
     
  8. 14 ноя 2017
    #5
    Hozy84
    Hozy84 БанЗабанен
    К сожалению да. И вы будете в пролете на все продаваемые сейчас шаблоны. Так что обновляйтесь.
    Ну или будет складчина на зеннобокс (+12$).
     
  9. 17 ноя 2017
    #6
    smart226
    smart226 ЧКЧлен клуба
    А можно на тестовом зеннопостере гонять этот шаблон?
     
  10. 17 ноя 2017
    #7
    Hozy84
    Hozy84 БанЗабанен
    Здравствуйте.
    Уже нельзя. Так как используются прокси и каптча.
     
  11. 17 ноя 2017
    #8
    Yacoj
    Yacoj ЧКЧлен клуба
    xevil можно использовать вместо сервисов антикапчи?
     
  12. 17 ноя 2017
    #9
    Hozy84
    Hozy84 БанЗабанен
    Не знаю что это, но используются сервисы антикапчи интегрированные в zennoposter.
     
  13. 17 ноя 2017
    #10
    MasterOfPins
    MasterOfPins ЧКЧлен клуба (А)
    да зенка с ним нормально работает, если Recapcha2 не встречается - то без проблем будет гадать (проверял на поиске гугла, бинга, яндекса)
     
    1 человеку нравится это.
  14. 17 ноя 2017
    #11
    Hozy84
    Hozy84 БанЗабанен
    В данный момент самая обычная каптча. Я так понимаю xevel интегрировать надо?
    В общем пока что вводить дополнительные настройки по разгадыванию каптчи не планирую. Есть иные задачи.
    А также есть идеи, которые позволят вообще не использовать сервисы разгадывания...Но это уже позже.
     
  15. 17 ноя 2017
    #12
    MasterOfPins
    MasterOfPins ЧКЧлен клуба (А)
    не, он перехватывает запросы к сервисам и сам разгадывает капчи
    так тут все упирается в прокси. Сейчас использую A-Parser для сбора инфы по доменам (он собирает данные, но фильтровать не может)- качественные прокси решают все проблемы =)

    Давай уже к сборам переходить =))) или открой прошлую складку, я готов заплатить и в 2 раза больше, лишь бы не ждать =)
     
  16. 17 ноя 2017
    #13
    Hozy84
    Hozy84 БанЗабанен
    К сожалению не получиться. Во первых рано, во вторых вношу изменения в шаблон. Так как сервисы, которые мы используем, начинают на нас ругаться.
    Когда картинка проясниться полностью, я опишу как и что сейчас на данный момент.

    К старту складчины возможно вообще иная версия шаблона уже будет. Чем больше над ним работаю, тем больше идей и решений.
     
  17. 17 ноя 2017
    #14
    MasterOfPins
    MasterOfPins ЧКЧлен клуба (А)
    а вообще, лови идею:
    Сделай сбор данных по доменам в свою базу данных (на любой дешевой вдс повесь).
    парсит пользователь данные по доменам и они вносятся в общую БД.
    Дальше при запросе шаблон сперва запрашивает инфу из общей БД (и дергает оттуда все параметры), если домена в общей БД нет - то шаблон идет парсить данные и попутно вносит всю инфу в общую БД.
    Такой подход отсечет необходимость в прокси и капче + в разы ускорит работу.

    Ну и смотри, что мы имеет - такие параметры, как инфа с сервисов (семраш, симиларвеб, моз ранки и т.д.) - меняются крайне редко (где-то раз в месяц).
    Выдача гугля (индекс) по домену актуальна 1-7 дней
    Т.е. эти данные можно спокойно собрать 1 раз и хранить в общей базе.
    Остается только проверка регистрации домена - ее можно актуализировать при каждом запросе пользователя.

    и этот момент тоже уйдет при наличии общей БД. По сути создадим сервис по типу expireddomains, но только для своих =)
     
    Последнее редактирование модератором: 17 ноя 2017
  18. 17 ноя 2017
    #15
    Hozy84
    Hozy84 БанЗабанен
    Тоже не вариант, так как все парсят домены по своим параметрам. У кого то требования меньше, у кого то больше. Да и не вижу смысла заморачиваться с вдс и подобной базой. Хотя некоторые моменты этой идеи я почерпнул, спасибо)

    В общем идей много, времени на реализацию мало. Так как постоянно приходится отвлекаться на помощь, проверки и внесение изменений. И личная жизнь тоже присутствует.
     
  19. 17 ноя 2017
    #16
    MasterOfPins
    MasterOfPins ЧКЧлен клуба (А)
    а вот тут ты не прав, собираешь ты всю информацию, вот только выводишь пользователю потом лишь ту, которая удовлетворяет определенным параметрам. Парсинг же всегда начинается с имени домена =) Да, не каждый юзер собирает все параметры для своей работы, но можно записывать то, что собирается, а данные которых не хватает - следующий пользователь (если они ему будут нужны) допарсит и запишет в базу.

    В общем подумай - с одной стороны заморочка на день с запуском общей базы данных + дописывание функционала в шаблон, с другой стороны - ускорение работы шаблона в разы, отсечение проблем с капчами/проксями и борьбой со стороны сервисов.

    да, с этим прекрасно понимаю =)
     
    2 пользователям это понравилось.
  20. 17 ноя 2017
    #17
    Yacoj
    Yacoj ЧКЧлен клуба
    Какова сейчас себестоимость одного добытого домена, хотя бы приблизительно?
     
  21. 18 ноя 2017
    #18
    Hozy84
    Hozy84 БанЗабанен
    Нет такого понятия вообще. Тебе нужны прокси, которыми ты будешь месяц пользоваться. Пачка проксей стоит 5 долларов.
    Ну и каптча, стоимость зависит от сервиса.
    И конечный результат, стоимость самого домена.

    Главное в этом деле удача и своевременность)
     
    Последнее редактирование модератором: 18 ноя 2017
  22. 24 ноя 2017
    #19
    Hozy84
    Hozy84 БанЗабанен
    ИЗМЕНЕНИЯ - ПРЕДУПРЕЖДЕНИЯ

    ПРОВЕРКА ЗАНЯТОСТИ

    Сервис, который использовали начал бороться с нами и как оказалось отдавал не всегда верные данные.
    Пришлось его сменить. Теперь проверка происходит через api регистратора godaddy и у них есть ограничения на доменные зоны, а именно можно чекать:
    .com
    .info
    .org
    .net
    .me
    .mobi
    .us
    .biz
    .tv
    .ca
    .com.au
    .net.au
    .org.au
    .mx
    .ws
    .asia
    .at
    .bz
    .com.co
    .net.co
    .nom.co
    .eu
    .in
    .jp
    .com.mx
    .name
    .nl
    .se
    .xxx
    .ag
    .ch
    .cl
    .cn
    .co
    .cz
    .dk
    .io
    .kr
    .la
    .pe
    .ph
    .pl
    .pw
    .ru
    .sg
    .uk
    .com.cn
    .net.cn
    .org.cn
    .pro
    .com.ag
    .net.ag
    .org.ag
    .com.pl
    .net.pl
    .org.pl
    .biz.pl
    .info.pl
    .com.br
    .co.jp
    .com.ph
    .co.za
    .com.pe
    .com.ve
    .org.ve
    .net.br
    .co.kr
    .net.pe
    .nom.pe
    .org.pe
    .co.ve
    .info.ve
    .net.ve
    .web.ve
    .ne.kr
    .net.ph
    .org.ph
    .uno
    .menu
    .luxury
    .build
    .bike
    .clothing
    .guru
    .holdings
    .plumbing
    .singles
    .ventures
    .estate
    .photography
    .gallery
    .camera
    .lighting
    .equipment
    .graphics
    .kitchen
    .construction
    .contractors
    .directory
    .today
    .technology
    .land
    .tips
    .diamonds
    .enterprises
    .voyage
    .careers
    .recipes
    .photos
    .shoes
    .company
    .cab
    .domains
    .limo
    .management
    .systems
    .center
    .computer
    .support
    .academy
    .solutions
    .repair
    .house
    .builders
    .camp
    .education
    .glass
    .international
    .solar
    .training
    .email
    .institute
    .florist
    .coffee
    .club
    .codes
    .farm
    .holiday
    .marketing
    .agency
    .cheap
    .zone
    .bargains
    .boutique
    .cool
    .watch
    .viajes
    .expert
    .works
    .reviews
    .dance
    .democrat
    .futbol
    .foundation
    .cruises
    .rentals
    .villas
    .exposed
    .flights
    .vacations
    .social
    .immobilien
    .ninja
    .consulting
    .rocks
    .republican
    .buzz
    .maison
    .properties
    .tienda
    .condos
    .dating
    .events
    .productions
    .partners
    .london
    .cards
    .cleaning
    .catering
    .community
    .wiki
    .parts
    .supply
    .industries
    .supplies
    .tools
    .xyz
    .ink
    .bid
    .report
    .vision
    .moda
    .pub
    .trade
    .webcam
    .fish
    .actor
    .kaufen
    .services
    .rest
    .bar
    .engineering
    .gripe
    .capital
    .exchange
    .lease
    .pictures
    .media
    .associates
    .reisen
    .university
    .toys
    .town
    .haus
    .financial
    .wtf
    .fail
    .limited
    .care
    .clinic
    .surgery
    .dental
    .nyc
    .cash
    .tax
    .fund
    .investments
    .vegas
    .furniture
    .discount
    .fitness
    .schule
    .nagoya
    .world
    .shopping
    .college
    .studio
    .movie
    .kiwi
    .ltda
    .degree
    .vote
    .voting
    .army
    .church
    .digital
    .legal
    .berlin
    .blue
    .place
    .gives
    .vip
    .porn
    .fit
    .archi
    .loans
    .fun
    .desi
    .healthcare
    .vin
    .bayern
    .tech
    .site
    .review
    .style
    .money
    .country
    .guide
    .horse
    .blog
    .ist
    .accountant
    .family
    .website
    .apartments
    .sex
    .red
    .cooking
    .ski
    .surf
    .work
    .sarl
    .green
    .school
    .tennis
    .voto
    .racing
    .rich
    .golf
    .promo
    .rehab
    .lawyer
    .gratis
    .vodka
    .poker
    .business
    .sydney
    .cricket
    .theatre
    .vet
    .energy
    .win
    .attorney
    .yoga
    .loan
    .xn--6frz82g
    .fans
    .hockey
    .space
    .science
    .gold
    .global
    .onl
    .news
    .wine
    .fishing
    .earth
    .bingo
    .ceo
    .miami
    .store
    .amsterdam
    .paris
    .qpon
    .beer
    .faith
    .doctor
    .engineer
    .barcelona
    .team
    .theater
    .film
    .taxi
    .lgbt
    .irish
    .fyi
    .protection
    .shiksha
    .gifts
    .restaurant
    .date
    .tube
    .rodeo
    .cafe
    .stream
    .rip
    .adult
    .chat
    .men
    .wales
    .garden
    .istanbul
    .casino
    .delivery
    .download
    .network
    .group
    .moe
    .design
    .online
    .navy
    .salon
    .one
    .auto
    .party
    .casa
    .okinawa
    .city
    .wedding
    .hospital
    .car
    .cars
    .software
    .sale
    .dog
    .black
    .video
    .nrw
    .ryukyu
    .bet
    .memorial
    .jewelry
    .credit
    .courses
    .band
    .games
    .airforce
    .art
    .yokohama
    .quebec
    .finance
    .show
    .pink
    .football
    .direct
    .coach
    .jetzt
    .love
    .immo
    .boston
    .cloud
    .ltd
    .security
    .mba
    .insure
    .life
    .market
    .accountants
    .tires
    .live
    .tours
    .dentist
    .bio
    .reise
    .deals
    .auction
    .pet
    .cymru
    .host
    .fashion
    .coupons
    .creditcard
    .mortgage
    .express
    .shop
    .kim
    .forsale
    .plus
    .soccer
    .study
    .melbourne
    .pizza
    .claims
    .gmbh
    .best
    .rent
    .press
    .run
    .re.kr

    ПРОВЕРКА ИСТОЧНИКА ТРАФИКА

    Проверка поискового трафика происходит в сервисе similarweb. Они поменяли алгоритмы и теперь у них система работает через раз, о чем они сами и сообщают. Я так думаю наладится все.

    ПРОВЕРКА ИНЫХ ПАРАМЕТРОВ
    Ранее заявлялись параметры:
    - MozRank;
    - AlexaRank:
    - Google безопасность;
    - Зараженность домена;
    - Наличие ссылок по Moz:
    - Наличие ссылок по LinkPad:
    - Траст по MyWot.

    Сервис, с которого собирались данные, ввел ограничения на количество проверок и каптчу на каждую проверку.
    По этому пришлось менять сервис, но и данных с него мы получаем меньше, а именно:
    - MozRank Domain;
    - MozRank Page;
    - AlexaRank.

    Решил вас предупредить, что бы не было недопониманий.

    Это не значит, что так все и останется. Будут подключаться новые сервисы и будет улучшаться работа с уже интегрированными.
    Есть активные ребята из первого потока, которые делятся со мной своим опытом и найденными сервисами. За что им спасибо.
    Надеюсь и вы будете проявлять активность.
     
  23. 24 ноя 2017
    #20
    lifecoder
    lifecoder ЧКЧлен клуба (А)
    @Hozy84
    Привет. RDS API не рассматривал? Многие используют. Платно, но цена приемлема. Как доп сервис.
     
    1 человеку нравится это.
Статус обсуждения:
Комментирование ограничено.