Парсер авито который всегда работает [ZP] [Повтор 4]

Складчина: Парсер авито который всегда работает [ZP] [Повтор 4]

Первая тема - Ссылка
Повтор - Ссылка
Повтор 2 - Ссылка
Повтор 3 - Ссылка


Отзывы проверяющих:
1) Stromden
2) Hade
3) Mr-Grey

Отзывы участников:


Всем привет, я являюсь разработчиком программ для авито. Занимаюсь данным направлением с 2017 года. Первый софт был парсер, он самый старый и самый крупный мой проект. За 2 года он получил много фидбека и сегодня является универсальным и удобным парсером. Его основная цель сделать сбор информации удобным и эффективным. На сегодняшний день основным приоритетом является создание полноценного комбайна авито.



Основные преимущества моего парсера

1. Сбор номеров (с именем и без)
2. Сбор объявлений (вся доступная информация вместе или отдельно)
3. Блеклисты профилей авито (динамический, статический, отключен)
4. Определение пола по базе имен
5. Сохранение фото на компьютер
6. Сбор дополнительной информации с категорий Автомобили и Недвижимость
7. Удаление дублей
8. Парсер вакансий
9. Сохранение в список и таблицу (Дописать/Удалить и записать/ Не записывать)
10. Проверка прокси на валид/блокировку/работоспособность перед началом работы.
11. Защита прокси от бана

Результаты работы парсера





Скорость сбора составляет:
1-2 млн в сутки (в зависимости от настроек)

Что нужно для работы:
ZennoPoster/Zennobox версии 5.17.2.0 и выше
Любые шаред прокси РУ\СНГ
Аккаунты не нужны!

FAQ:
Входит ли поддержка в стоимость?
Да

Существуют ли какие-то ограничения?
В ZennoBox ограничение 20 потоков
В ZennoPoster ограничение 200 потков.

Что значит защита прокси от бана?
Значит, что выставлены грамотные интервалы которые сводят к минимуму бан прокси.

Парсит ли шаблон резюме?
Нет

Есть ли инструкция?
Да.

Что нового в повторе:
Из нового только оформление темы. Сам парсер обновляется для всех складчиков когда либо купивших его. По этому все новое для всех =)

 

Скажите пожалуйста что можно будет сделать с этой базой информации. Как ее можно применить для магазина

 

Я думаю все очень просто. Я например торгую запчастями в сфере услуг. И мои клиенты, это Монтажники, ремонтники, которые предлагают свои услуги на авито. И выгрузив базу, можно например Рассылку смс делать по Монтажникам. Или в группу в Вибер пригласить. И тут понеслась) далее все от Вашего ассортиметна и цен зависит.

 

Обновление парсера

Исправлен баг при сборе ID
Увеличены интервалы при чеке прокси
Актуализирована приставка к ссылке при сборе id
Другие мелкие исправления
Переработана работа использования прокси.
Уменьшена вероятность бана прокси.
Добавлен новый режим "Чек прокси"

__
Переделал логику использования прокси. Теперь они меньше будут "страдать", решение в разы лучше чем было, но конечно его можно еще совершенствовать, посмотрим как этот вариант себя проявит.

Добавлен новый режим "Чек прокси", если у вас много прокси и вы не уверены в их качестве, то я рекомендую их прочекать в многопотоке в этом режиме. В конце чека он напишет кол-во рабочих прокси. Это значит, что столько выполнений надо установить, лучше чуть меньше. Если он написал 43, то ставим 40 выполнений.

 

Скриншоты не актуальны, Авито больше статистику не отдает по обьявлениям, среднее по просмотрам не посчитаете

 

Да скрины таблицы и правда не актуальны (в хорошем смысле). Сейчас еще парсит позицию (но с ограничениями) и дату парсинга. По поводу просмотров я проверю и дам официальный ответ в течении суток.

 

@Haridas Проверил, все нормально. Платные услуги только не парсит, но это я в курсе будет позже обновление. А с просмотрами все отлично, на сайте их и правда нельзя посмотреть, но парсер их может получить))

 

Бонусов нет, например парсер магазинов из прошлой складчины?
Когда примерно ожидать старт?

 

У меня тупо нету времени заниматся бонусным парсером магазинов. По этому я убрал, что бы не обнадеживать никого. Если мне напоминать про него раз в неделю то может сделаю. Сейчас стоят более приоритетные задачи. Как бонус могу выдать базу магазинов прошлогоднюю. Для старта надо хотя бы человек 5, ну и что бы у орга время было.

 

Через несколько дней будет обновление. Изменения буду связанны с адресами, появятся новые колонки: Район, Улица.
Как раз с улицей возникают сложности, но любые сложности нас закаляют. Будут еще изменения, о которых я сообщу в след раз или сразу выпущу обновление)

 

Прошу прощения, обнова чутка задержалась. Хочу напомнить, что сам парсер в рабочем состоянии, а эта обнова делается с целью улучшения, по этому я могу себе позволить немного сдвинуть сроки. Чего не могу позволить, если основной функционал не будет работать.

 

Обновление парсера

Добавлены новые колонки: Область, Город, Район (beta), Улица (beta)
Добавлены новые колонки: Путь к фото
Колонка "URL объявления" теперь содержит полную ссылку (для будущей интеграцией с AVP Messenger)
Небольшие исправления

 

Дали мне орга в моей складчине. Первый раз такой опыт.
Ну че стартуем?

 

А складчина будет доступной? У меня деньги появятся только после 20-го, как РСЯ выплатят. Потому и выписался.

 

Да будет доступна какое то время. Не могу обещать что до 20 го.

 

На ваше усмотрение, я уже давно готов покупать.)

 

@Михаил_63

 

@gmialya