[Повтор] Парсер дропов - помощь дорвейщику

Складчина: [Повтор] Парсер дропов - помощь дорвейщику

Здравствуйте товарищи!
Хочу предложить вам парсер дропов (освободившихся доменов) по заданным критериям.
Работать будем с сайтом

Данная складчина является ПОВТОРОМ.

Отзывы из первой https://v21.skladchik.org/threads/П...-помощь-дорвейщику-zennoposter.170623/reviews

Спойлер: Скины отзывов

Шаблон имеет расширенный функционал, по сравнению с предыдущей версией и думаю на этом работа не будет остановлена.

Что же умеет шаблон в данный момент

ПАРСИНГ
1. Парсинг 98 доменных зон (на выбор);
2. Выбор периода прошедшего с момента освобождения доменов:
- 12 часов;
- 24 часа;
- 7 дней.
3. Учитывает наличия данных в similarweb (опционально);
4. Учитывает наличие AlexaRank (опционально);
5. Наличие слова в наименовании домена (опционально);
6. Наличие трафика по Google Us (опционально);
7. Поток цитирования (макс. значение - опционально);
8. Поток доверия (мин. значение - опционально).

ПРОВЕРКА ЗАНЯТОСТИ
Шаблон парсит свободные домены, но бывает, что их быстро регистрируют, данная функция проверяет свободность домена в соответствующем сервисе уже после парсинга.

ПРОВЕРКА ИНДЕКСА
Проверка количества страниц в индексе:
- Яндекса;
- Bing:
- Google.

ПРОВЕРКА ИСТОЧНИКА ТРАФИКА
Шаблон проверяет, был ли поисковый трафик на домене используя сервис similarweb.

ПРОВЕРКА ИНЫХ ПАРАМЕТРОВ
- MozRank;
- AlexaRank:
- Google безопасность;
- Зараженность домена;
- Наличие ссылок по Moz:
- Наличие ссылок по LinkPad:
- Траст по MyWot.

ФИЛЬТРАЦИЯ
Используется алгоритм умной фильтрации исходя из интересующих вас параметров и их значений.

Все данные формируются в таблице xlsx, что позволяет самостоятельно проанализировать полученный результат.

Все функции работают как вместе, так и по отдельности.
Это значит, что если вы парсите домены самостоятельно, в другом месте, то вы можете добавить их в таблицу и запустить интересующую вас проверку.

ОГРАНИЧЕНИЯ
- версия зеннопостера лицензии от lite и версии не ниже 5.10.5;
- за один проход шаблон парсит не более 5 доменных зон (во избежании банов);
- работает в один поток.

ЧТО ПОТРЕБУЕТСЯ
- zennoposter;
- прокси (подойдут пакетные, какие и где брать советую (4.9$ за 100 штук на месяц)).


ВНИМАНИЕ
Шаблон парсит домены, но их надо еще и зарегистрировать за ваши деньги.
Хороших дропов не так много, надо постоянно мониторить. В этом вам поможет встроенное в zennoposter расписание.

Предупреждаю сразу, дропы разбирают довольно быстро.

БУДЕТ ZENNOBOX для нуждающихся (+ $12).

БОНУСЫ
Уникализатор и проверятор картинок - обновленная версия.
Реклама в 3 смежных складчинах не нарушая правила клуба до объявления даты сборов.

 

Условия получения бонуса - реклама в 3 смежных темах.

ИЗМЕНЕНИЯ - ПРЕДУПРЕЖДЕНИЯ

ПРОВЕРКА ЗАНЯТОСТИ
Сервис, который использовали начал бороться с нами и как оказалось отдавал не всегда верные данные.
Пришлось его сменить. Теперь проверка происходит через api регистратора godaddy и у них есть ограничения на доменные зоны, а именно можно чекать:

ПРОВЕРКА ИСТОЧНИКА ТРАФИКА
Проверка поискового трафика происходит в сервисе similarweb. Они поменяли алгоритмы и теперь у них система работает через раз, о чем они сами и сообщают. Я так думаю наладится все.

ПРОВЕРКА ИНЫХ ПАРАМЕТРОВ
Ранее заявлялись параметры:
- MozRank;
- AlexaRank:
- Google безопасность;
- Зараженность домена;
- Наличие ссылок по Moz:
- Наличие ссылок по LinkPad:
- Траст по MyWot.

Сервис, с которого собирались данные, ввел ограничения на количество проверок и каптчу на каждую проверку.
По этому пришлось менять сервис, но и данных с него мы получаем меньше, а именно:
- MozRank Domain;
- MozRank Page;
- AlexaRank.

Решил вас предупредить, что бы не было недопониманий.

Это не значит, что так все и останется. Будут подключаться новые сервисы и будет улучшаться работа с уже интегрированными.
Есть активные ребята из первого потока, которые делятся со мной своим опытом и найденными сервисами. За что им спасибо.
Надеюсь и вы будете проявлять активность.

АП
Добавлен парсинг значений безопасности по гуглу и яндексу, а также траста по MyWot.

 

Бонус с подписью для участников первой складчины возможен?

 

у меня 5.8.0.2 - я в пролете?

 

К сожалению да. И вы будете в пролете на все продаваемые сейчас шаблоны. Так что обновляйтесь.
Ну или будет складчина на зеннобокс (+12$).

 

А можно на тестовом зеннопостере гонять этот шаблон?

 

Здравствуйте.
Уже нельзя. Так как используются прокси и каптча.

 

xevil можно использовать вместо сервисов антикапчи?

 

Не знаю что это, но используются сервисы антикапчи интегрированные в zennoposter.

 

да зенка с ним нормально работает, если Recapcha2 не встречается - то без проблем будет гадать (проверял на поиске гугла, бинга, яндекса)

 

В данный момент самая обычная каптча. Я так понимаю xevel интегрировать надо?
В общем пока что вводить дополнительные настройки по разгадыванию каптчи не планирую. Есть иные задачи.
А также есть идеи, которые позволят вообще не использовать сервисы разгадывания...Но это уже позже.

 

не, он перехватывает запросы к сервисам и сам разгадывает капчи

так тут все упирается в прокси. Сейчас использую A-Parser для сбора инфы по доменам (он собирает данные, но фильтровать не может)- качественные прокси решают все проблемы =)

Давай уже к сборам переходить =))) или открой прошлую складку, я готов заплатить и в 2 раза больше, лишь бы не ждать =)

 

К сожалению не получиться. Во первых рано, во вторых вношу изменения в шаблон. Так как сервисы, которые мы используем, начинают на нас ругаться.
Когда картинка проясниться полностью, я опишу как и что сейчас на данный момент.

К старту складчины возможно вообще иная версия шаблона уже будет. Чем больше над ним работаю, тем больше идей и решений.

 

а вообще, лови идею:
Сделай сбор данных по доменам в свою базу данных (на любой дешевой вдс повесь).
парсит пользователь данные по доменам и они вносятся в общую БД.
Дальше при запросе шаблон сперва запрашивает инфу из общей БД (и дергает оттуда все параметры), если домена в общей БД нет - то шаблон идет парсить данные и попутно вносит всю инфу в общую БД.
Такой подход отсечет необходимость в прокси и капче + в разы ускорит работу.

Ну и смотри, что мы имеет - такие параметры, как инфа с сервисов (семраш, симиларвеб, моз ранки и т.д.) - меняются крайне редко (где-то раз в месяц).
Выдача гугля (индекс) по домену актуальна 1-7 дней
Т.е. эти данные можно спокойно собрать 1 раз и хранить в общей базе.
Остается только проверка регистрации домена - ее можно актуализировать при каждом запросе пользователя.

и этот момент тоже уйдет при наличии общей БД. По сути создадим сервис по типу expireddomains, но только для своих =)

 

Тоже не вариант, так как все парсят домены по своим параметрам. У кого то требования меньше, у кого то больше. Да и не вижу смысла заморачиваться с вдс и подобной базой. Хотя некоторые моменты этой идеи я почерпнул, спасибо)

В общем идей много, времени на реализацию мало. Так как постоянно приходится отвлекаться на помощь, проверки и внесение изменений. И личная жизнь тоже присутствует.

 

а вот тут ты не прав, собираешь ты всю информацию, вот только выводишь пользователю потом лишь ту, которая удовлетворяет определенным параметрам. Парсинг же всегда начинается с имени домена =) Да, не каждый юзер собирает все параметры для своей работы, но можно записывать то, что собирается, а данные которых не хватает - следующий пользователь (если они ему будут нужны) допарсит и запишет в базу.

В общем подумай - с одной стороны заморочка на день с запуском общей базы данных + дописывание функционала в шаблон, с другой стороны - ускорение работы шаблона в разы, отсечение проблем с капчами/проксями и борьбой со стороны сервисов.

да, с этим прекрасно понимаю =)

 

Какова сейчас себестоимость одного добытого домена, хотя бы приблизительно?

 

Нет такого понятия вообще. Тебе нужны прокси, которыми ты будешь месяц пользоваться. Пачка проксей стоит 5 долларов.
Ну и каптча, стоимость зависит от сервиса.
И конечный результат, стоимость самого домена.

Главное в этом деле удача и своевременность)

 

ИЗМЕНЕНИЯ - ПРЕДУПРЕЖДЕНИЯ

ПРОВЕРКА ЗАНЯТОСТИ
Сервис, который использовали начал бороться с нами и как оказалось отдавал не всегда верные данные.
Пришлось его сменить. Теперь проверка происходит через api регистратора godaddy и у них есть ограничения на доменные зоны, а именно можно чекать:

Спойлер

.com
.info
.org
.net
.me
.mobi
.us
.biz
.tv
.ca
.com.au
.net.au
.org.au
.mx
.ws
.asia
.at
.bz
.com.co
.net.co
.nom.co
.eu
.in
.jp
.com.mx
.name
.nl
.se
.xxx
.ag
.ch
.cl
.cn
.co
.cz
.dk
.io
.kr
.la
.pe
.ph
.pl
.pw
.ru
.sg
.uk
.com.cn
.net.cn
.org.cn
.pro
.com.ag
.net.ag
.org.ag
.com.pl
.net.pl
.org.pl
.biz.pl
.info.pl
.com.br
.co.jp
.com.ph
.co.za
.com.pe
.com.ve
.org.ve
.net.br
.co.kr
.net.pe
.nom.pe
.org.pe
.co.ve
.info.ve
.net.ve
.web.ve
.ne.kr
.net.ph
.org.ph
.uno
.menu
.luxury
.build
.bike
.clothing
.guru
.holdings
.plumbing
.singles
.ventures
.estate
.photography
.gallery
.camera
.lighting
.equipment
.graphics
.kitchen
.construction
.contractors
.directory
.today
.technology
.land
.tips
.diamonds
.enterprises
.voyage
.careers
.recipes
.photos
.shoes
.company
.cab
.domains
.limo
.management
.systems
.center
.computer
.support
.academy
.solutions
.repair
.house
.builders
.camp
.education
.glass
.international
.solar
.training
.email
.institute
.florist
.coffee
.club
.codes
.farm
.holiday
.marketing
.agency
.cheap
.zone
.bargains
.boutique
.cool
.watch
.viajes
.expert
.works
.reviews
.dance
.democrat
.futbol
.foundation
.cruises
.rentals
.villas
.exposed
.flights
.vacations
.social
.immobilien
.ninja
.consulting
.rocks
.republican
.buzz
.maison
.properties
.tienda
.condos
.dating
.events
.productions
.partners
.london
.cards
.cleaning
.catering
.community
.wiki
.parts
.supply
.industries
.supplies
.tools
.xyz
.ink
.bid
.report
.vision
.moda
.pub
.trade
.webcam
.fish
.actor
.kaufen
.services
.rest
.bar
.engineering
.gripe
.capital
.exchange
.lease
.pictures
.media
.associates
.reisen
.university
.toys
.town
.haus
.financial
.wtf
.fail
.limited
.care
.clinic
.surgery
.dental
.nyc
.cash
.tax
.fund
.investments
.vegas
.furniture
.discount
.fitness
.schule
.nagoya
.world
.shopping
.college
.studio
.movie
.kiwi
.ltda
.degree
.vote
.voting
.army
.church
.digital
.legal
.berlin
.blue
.place
.gives
.vip
.porn
.fit
.archi
.loans
.fun
.desi
.healthcare
.vin
.bayern
.tech
.site
.review
.style
.money
.country
.guide
.horse
.blog
.ist
.accountant
.family
.website
.apartments
.sex
.red
.cooking
.ski
.surf
.work
.sarl
.green
.school
.tennis
.voto
.racing
.rich
.golf
.promo
.rehab
.lawyer
.gratis
.vodka
.poker
.business
.sydney
.cricket
.theatre
.vet
.energy
.win
.attorney
.yoga
.loan
.xn--6frz82g
.fans
.hockey
.space
.science
.gold
.global
.onl
.news
.wine
.fishing
.earth
.bingo
.ceo
.miami
.store
.amsterdam
.paris
.qpon
.beer
.faith
.doctor
.engineer
.barcelona
.team
.theater
.film
.taxi
.lgbt
.irish
.fyi
.protection
.shiksha
.gifts
.restaurant
.date
.tube
.rodeo
.cafe
.stream
.rip
.adult
.chat
.men
.wales
.garden
.istanbul
.casino
.delivery
.download
.network
.group
.moe
.design
.online
.navy
.salon
.one
.auto
.party
.casa
.okinawa
.city
.wedding
.hospital
.car
.cars
.software
.sale
.dog
.black
.video
.nrw
.ryukyu
.bet
.memorial
.jewelry
.credit
.courses
.band
.games
.airforce
.art
.yokohama
.quebec
.finance
.show
.pink
.football
.direct
.coach
.jetzt
.love
.immo
.boston
.cloud
.ltd
.security
.mba
.insure
.life
.market
.accountants
.tires
.live
.tours
.dentist
.bio
.reise
.deals
.auction
.pet
.cymru
.host
.fashion
.coupons
.creditcard
.mortgage
.express
.shop
.kim
.forsale
.plus
.soccer
.study
.melbourne
.pizza
.claims
.gmbh
.best
.rent
.press
.run
.re.kr

ПРОВЕРКА ИСТОЧНИКА ТРАФИКА
Проверка поискового трафика происходит в сервисе similarweb. Они поменяли алгоритмы и теперь у них система работает через раз, о чем они сами и сообщают. Я так думаю наладится все.

ПРОВЕРКА ИНЫХ ПАРАМЕТРОВ
Ранее заявлялись параметры:
- MozRank;
- AlexaRank:
- Google безопасность;
- Зараженность домена;
- Наличие ссылок по Moz:
- Наличие ссылок по LinkPad:
- Траст по MyWot.

Сервис, с которого собирались данные, ввел ограничения на количество проверок и каптчу на каждую проверку.
По этому пришлось менять сервис, но и данных с него мы получаем меньше, а именно:
- MozRank Domain;
- MozRank Page;
- AlexaRank.

Решил вас предупредить, что бы не было недопониманий.

Это не значит, что так все и останется. Будут подключаться новые сервисы и будет улучшаться работа с уже интегрированными.
Есть активные ребята из первого потока, которые делятся со мной своим опытом и найденными сервисами. За что им спасибо.
Надеюсь и вы будете проявлять активность.

 

@Hozy84
Привет. RDS API не рассматривал? Многие используют. Платно, но цена приемлема. Как доп сервис.