Самая полнейшая база AVITO.ru + монетизация + шаблон. Более 43 млн. объявлений. Резюме. ФиксЦена

Складчина: Самая полнейшая база AVITO.ru + монетизация + шаблон. Более 43 млн. объявлений. Резюме. ФиксЦена

Супер предложение. Самая большая база объявлений/контактов AVITO.RU
Такого больше нигде не найдете.
​

Меня просили достать базу данных Авито. Я наивно согласился, не догадываясь, что впреди меня ждет не одна неделя круглосуточного парсинга, постоянные правки шаблона на начальном этапе, борьба с блокировками авито и более сотни тысяч вложенных рублей, потраченных на прокси, сервера и бесчисленное количество обращений в их службы поддержки. Это было непросто, но бросать начатое я не привык и достал базу абсолютно всех объявлений Авито. Забирайте!!!

​

​

Вся информация представлена в виде базы данных, что позволяет оперативно находить нужную информацию, сортировать, фильтровать, править и экспортировать . Никаких медленных excel, а тем более txt.

пример таблицы Одежда для девочек​

​

Более 47 Гб данных. Более 43 000 000 объявлений. Почти 16 000 000 уникальных телефонов по категориям

​

Это полнейшая база объявлений сайта avito.ru собранная с полной версии сайта за последние 2.5 месяца. Все категории и подкатегории. До последней, до последнего объявления на момент парсинга.

​

Вся доступная информация, по каждому объявлению. Более сотни различных параметров по всем объявлениям

• ID ...
• Заголовок ...
• Телефон ...
• Адресс ...
  
• Статистика ...
• Даты созданий и последнего обновления ...
• Все изображения с максимальным разрешением ...
  
• Имя продавца, контактного лица, тип организации ...
• Основная информация ...
• Дополнительная информация ...
• ...

​

Каждое объявление содержит цепочку категорий, разделов, подразделов

​

Наличие объявлений не прошедших модерацию

​

Наличие базы данных платного раздела РЕЗЮМЕ. Мало кто знает, но для просмотра номера телефона 1 резюме нужно заплатить авито 49 рублей. Контактные данные в этом разделе невозможно просматривать бесплатно, а уж тем более парсить. Но мне это удалось и моя БД содержит почти 500 000 номеров резюме. А это очень ценная информация, которая отлично монетизируется. Идет бонусом за рекламу.

​

Универсальный многопоточный шаблон, работающий на GET/POST через полную версию сайта, который позволяет парсить по региону, по поисковому запросу, по категориям ,по подкатегориям. Вам не нужно готовить ссылки, делать выборки руками на авито. Все это включено в настройки шаблона. Выбирайте регион, поисковой запрос, нужную категорию и жмите старт. Шаблон сам все просканирует, каждый фильтр. Также шаблон умеет парсить РЕЗЮМЕ. Это тоже будет в нем.
FULL парсер, который спарсил более 46 000 000 объявлений, который прошел все тесты в огромном масштабе.

Шаблон ведет полную статистику по работе с прокси, позволяя выбирать только лучшие, быстрые прокси и не нарваться на бан АВИТО. Статистика включает подсчет всех запросов по каждому прокси, количество пустых ответов по каждому прокси. Ведет лог по времени отклика прокси, тем самым позволяя убрать медленные, тупые прокси для увеличения скорости парсинга. Статистика позволяет определить лучшие сервисы по работе с прокси.

​

Управление параметрами работы шаблона происходит online. Отключить, включить, добавить, удалить прокси - не проблема, а особенно удобно, когда все перед глазами т.к. шаблон работает с базой данных.

Требования для работы в многопотоке
- версия ZennoPoster - Lite/Standart/Pro
- использование ОЗУ до 2 Гб
- 3-4 ядра CPU
- диск (зависит от ваших масштабов парсинга)

Спойлер: Скриншот входных настроек

Условия проведения складчины:

• Цена для каждого.
• База в виде дампа (архива). Инструкция по установки вебсервера, heidisql (софт для работы с БД).
• Материал готов и отдан проверяющим. Имеются отзывы. Цель проверки, проверить наличие заявленных данных.
• Проверяют 3 официальных проверяющих. Неофициальные не требуются.
  
• На данный момент собраны 100% объявлений на момент парсинга категории, но парсинг продолжается, парсится по кругу. Все новые объявления, которые будут спаршены до момента выдачи, будут добавлены в базу и выданы.
  
• Каждому участнику будет привязан шаблон парсера (полная версия, включающая и парсинг резюме), только на выполнение.
• Поддержка шаблона 6 месяцев. После окончания поддержки, шаблон не отвязывается.
• С материалом будут приложены инструкции по работе с дополнительным софтом (установка, настройка, пользование). Подготовка и запуск шаблона.
• Все новореги перед стартом будут выписаны.
  
• Выдача материала после 85% оплативших, если вы не готовы оплатить, не записывайтесь.
• Раздел РЕЗЮМЕ идет бонусом. Для его получения, необходимо оставить 3 рекламных сообщения, не нарушая правила форума.

ЧАВО

• Что за цена?

База уникальна и стоимость одного объявления 3 копейки была сформирована из учета вложенных сил и времени на её сбор. Так же не забывайте про бонусную базу телефонов по РЕЗЮМЕ. Она бесценна и многие впишутся только из-за нее. К тому же, все кому дорого, могут просто не участвовать.

• Так я могу и сам спарсить. Зачем покупать?

Конечно можете, но... Тут много но. Это:
- затраты времени. Ну уж очень большие.
- парсер (свой написанный, купленный чужой, арендованный сервис). А это все опять же время, затраты
- затраты на прокси. Тут авито не даст расслабится. Я перебрал много прокси сервисов. И местные, и чужие. Это все тесты, нервы, деньги. Много сервисов в бане авито. Много кто режет канал. Много кто ставит лимиты на обращение. Многие не соответствуют цене. Очень много селлеров перекупщиков. Это все набитие шишек. А сколько я запросил манибека, сколько жалоб и отзывов.

• Какой толк с базы?

С базой будет приложен небольшой мануал по монетизации.

• Никогда не работал с БД, разберусь?

Ничего сложного. Будет приложена инструкция, также запросы для выборок, сортировок. В приватке спросите какой нужен запрос на выборку, я вам его выдам. Также приложу вебморду для просмотра БД

Спойлер: Вебморда

ОТЗЫВЫ


​

 

Многие уже хотят купить базу, не могут ждать долго, поэтому цена изменена на фикс

 

Бонусы предыдущей будут учитываться?

 

Да

 

@starters, А если только в подпись поставить, получу я бонус?

 

Если у тебя было хотя бы столько сообщений как у меня, тогда получил бы, а так - нет
Только реклама в смежных темах

 

А подскажите как набрать сообщения?
Можно хоть где писать или в какой то теме обязательно?

 

4.9. Рекламные сообщения должны быть уникальными (не повторяя предыдущие) и уместно встроены в смежных по тематике складчинах. При оформлении допустимо размещение в одном рекламном посте не более 3-х ссылок на складчины, использование миниатюр изображений, размер шрифта не более 5 пт. Размещение рекламных постов не должно превышать более 5-и сообщений в сутки, в т.ч. в переписке Библиотека.
Запрещено:

• Заниматься рассылкой рекламного спама по личным перепискам.
• Рекламировать складчины в переписке "Библиотека" если вы не организатор данной складчины.
• Использовать в рекламных сообщениях любые видеоролики, gif-анимацию.
• Размещать в одной и той же теме более одного рекламного сообщения.

 

Нужно было с этого и начинать) цена 1000 рублей за такую базу - это слишком дешево. 3500 - самая норма, хотя на самом деле она стоит гораздо дороже, а про ценность ее я вообще молчу. Здесь вообще по классике маркетинга и продаж, где ценность в десятки раз превышает стоимость

И, кстати, не забываем зайти в складчины у меня в подписи

 

@starters
когда сборы ориентировочно(число, или количество участников) однозначно впишусь (рекламу давал)
в подписи менять на эту или оставить на прежнюю складчину
про срок сборов интересуюсь, 3 складчины одновременно стартуют с бюджетом напряг, что бы собрать на эту
в ексель можно выгружать нужную выборку?
на локалку ставится или хостинг нужен/можно?
есть пару парсеров по авито, довольно часто что то меняют на Авито, как оперативно будут вносится правки в шаблон?
после 6 месяцев, за плату можно продлить поддержку будет

 

Да многие говорят, но я не могу долго ждать.
Очень много работы и проблем

 

Ждем еще отзыв, потом посмотрим. Ждать долго не будем.
В инструкциях написано как выборку сделать и выгрузтить в ексель
На локалке все можешь сделать, все описано будет
Если незначительные правки, то сделаю и бесплатно, но если авито введет кардинальные изменения, добавит защиту, а к этому идет, то тогда по ситуации будем видеть

 

ОТЗЫВ

Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?
С Avito – я больше теоретик, с базами данных - практик. Больше работаю с MongoDB. Ну естественно знаю и MySql. Знаком с синтаксисом SQL.

Отзыв на материал, связанный с заработком, трафиком и иными сферами, направленными на достижение измеримых результатов в количественном или денежном выражении, должны подтверждаться скриншотами полученных результатов.

Не заявлялось

В каком виде предоставлен материал и насколько удобно он оформлен?

Структура материала следующая:

Основные моменты:

1. Инструкция как установить базы данных
   
   
2. Как работать с выборками
   
   
3. Как работать с шаблоном Zennoposter+шаблон Zennoposter
   
   
4. Сами базы данных (удобно что они по разделам. В архивах. Примерное сжатие 1 к 10)
   
   
5. Вебморда (здесь возможность пролистать объявления по порядку)
   
   
   Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
   
   Около 3 дней и 5 часов.
   
   Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
   
   Был косяк с моей стороны, что делал не по инструкции — думал, каждая файл — это отдельная независимая база. Соответственно импорт был с ошибкой. Но по факту — структура базы более грамотная (одна база, каждая таблица — отдельная категория)
   
   Сколько времени заняло достижение заявленного автором результата?
   
   Результат не заявлялся. (См. Вольные рассуждения)
   
   Нужны ли специальные навыки и дополнительные материальные вложения?
   (См. Вольные рассуждения)
   
   Оказывал ли автор должную поддержку в процессе проверки?
   
   Да, были моменты для корректировки.
   
   Каковы в целом общие впечатления о компетентности автора?
   
   Да автор полностью компетентен. В период стагнации в сфере ботоводства — движение в направлении работы с Big Data — считаю правильным
   
   Если в процессе проверки возникали какие-либо конфликты, недовольства либо значительные несоответствия полученных вами результатов заявленным автором в описании складчины - отразите эти моменты в своем отзыве.
   этого не было.
   
   Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.
   
   Отзыв на инфопродукт отражает субъективную точку зрения и является ориентиром для других участников клуба при принятии решения в целесообразности изучения того или иного информационного продукта.

Теперь в вольном стиле:


Вообще материал очень серьезный — и по определению отзыв не может быть в рамках стандартного отзыва.

Уникальность материала в его полноте. Поясню — после покупки программы Zennoposter в 2012 году — я много чего с ней делал . Так же активно изучал zennolab – и уже на тот момент avito считалось крепких орешком и требовало к себе большое количество качественных прокси. Поэтому я не касался avito — т. к. хватало социальных сетей и другой автоматизации.

Это сейчас мне интересно работать с Big Data — и собирать/монетизировать разные базы данных.

И теперь о том, что значит иметь всю базу авито в формате mysql у себя в пользовании.

Изначально, я думал, что предётся качать 45 ГБ файлом и ставить это в phpmyadmin. Но это было бы жестко (обычно такие большие базы я храню на 500Гб SSD внешнем диске вместе с Openserver (скриптами для данных баз))

Автор же представил возможность скачать те разделе -какие необходимы....и даже при этом средний размер базы будет от 2-6 Гб. Для импорта такой базы потребуются специальные программы — но тут автор рассказал как это делать.

И так базы вы поставили = что же с ними можно делать.

Автор указал ряд направлений в монетизации в работе с базами и информацией.

Всё в принципе верно — только по сути всё равно у каждого будет своя монетизации.

Да можно продавать информацию по запросу. Да можно искать детально целевых клиентов.

Но по мне большая ценность - именно в возможности сделать собственную сегментацию по данной базе.

Тут логика простая:

Продажа детских товаров — значит мамы. Продажа и покупка машин — значит владельцы машин , дорогие шмотки — значит стиляга/модницы и т.п.

Для поиска одиночных товаров и услуг — база в принципе не нужна. Ну если Вам нужен сегмент — то база лучший вариант работы с сегментацией.

Теперь по проверки базы.

Не знаю как будут проверять базу другие проверяющие - но я прогнал пару раз Php парсер – по сверке данных. Где то на 7000-10000 запросах мой IP банили. Но так как я это делал на openserver и у меня динамический IP – мне это было не страшно=)

Где -то 20-30% объявлений сложно проверить (либо закончился срок размещения объявления, либо товар продан, либо ещё что-то). Тут я не вдавался в детали — такой цели не стояло.

Но тут главное как я сказал -сегмент. Думаю startres — не тот человек, который генерит и продаёт фейковые базы=)


Теперь про выборки.

Небольшое вступление. Работать с выборками удобно через менеджер баз данных. Тут я решил по совету автора поставить dbForge studio. Но тут больше наверное повлияло описание — по резервированию баз данных. До этого работал с Workbench.

Автором предложена инструкция как делать основные выборки (но тут полёт возможностей значительно больше)

Вообще конечно -аудитория складчика - на мой субъективный взгляд -если ей задать вопрос — специалистом в какой профессии вы себя считаете — более 70% скажут что арбитраж и маркетинг. Но если вы проанализируете маркетинг специальности — то знание SQL синтаксиса - является обязательным в 80% вакансий. Про то что арбитраж - а точнее аналитика по эффективности арбитража = у нас в клубе оценивается по данным партнерских программ -это вообще отдельная тема.=)

Отсутствие в данной складчине - людей, называем себя авитологами удивляет.

И так по скольку мы имеем дело с базой (не с эксель файлом и т. п.) - то естественно надо пользоваться всеми возможностями работы с базами данных.

Мы можем делать выборку по категории, городу, поисковой фразе в описании товара, поисковой фразе в названии объявления, по цене. Тут для полноты выборки следовало сохранять время размещения объявления в unix формате (этого нет) — но для запросов попроще можно вводить название месяца или число и месяц.

Да правильнее будет также проиндексировать поля -по каким идёт поиск.

Также кроме обычных запросов на поиск — могут быть запросы на количество объявлений по определенным критериям — также полезно при маркетинговом анализе.

У меня лично не стоит цели рассказывать как работать с данными каждому из Вас . Понятное дело, что если вы покупаете базу для коллекции — то вы «покинете складчину» после этапа объявления даты сборов.

Если Вам интересен определенный рынок товаров и услуг (например дерганье статистики о просмотрах объявлений ваших или ваших конкурентов — это очень простой шаблон zennoposter)

Или Вам необходимо постоянно анализировать новые объявления /новых продавцов в какой либо категории — то данная складчина для вас.


Теперь относительно шаблона.

Не буду дублировать описание шаблона. Он достаточно гибкий и сложный.

Скажу что:

Шаблон шустрый -работает с прокси. Данные пишутся напрямую в базу. В случае ошибок создаются текстовые файлы . Шаблон идёт как бонус. Тестировал я его не долго, т. к. в моём случае — винсервер уже загружен до предела другими проектами.

Моя монетизация:

Лет 8 назад хотел сделать сайт по зарубежной недвижимости. На тот момент знал Drupal — и сайт стал неповоротливым. Раскрутить его не получилось. 4 месяца пропали.

В настоящем знаю Laravel на базовом уровне и есть желание попробывать проект ещё раз.

Есть знакомые вебмастера которые хорошо на этом поднялись. К примеру сайт -черногория клуб — размещение объявление стоит 100 евро в год (хозяин окупает за 2-3 дня эту сумму) . В настоящий момент там размещено более 900 объектов. Кроме этого ряд других способов монетизации.

Что для этого нужно. Контакты. А они у меня теперь есть.


Есть ещё и парсер.=) А дальше уже работа с контактами - кому то проще поговорить, кому то поспамить и т.п.


Небольшое отступление.

Конечно данная база данных может быть и интересна вебмастерам — это ж ребята сразу готовый сайт в 40 000 000 страниц — а если его еще на правильный дроп повесить — должен быть трафик и трафик не слабый=) Да конечно нужно будет скрыть телефоны и т. п. Но тут большая вероятность, что Вас и забанят в поисковых системах.=)

Поэтому давайте на проверку надёжным вебмастерам.=)

Вообщем -считаю правильным двигаться в направлении BIG DATA.

п.с. будут вопросы - готов ответить в ближайшие пару дней -потом буду вне интернета

 

Мой отзыв

Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?
С авито в плане коммерческого использования не работал, использовал для личных нужд.
С базами данных работаю в различных проектах на техническом уровне.

Отзыв на материал, связанный с заработком, трафиком и иными сферами, направленными на достижение измеримых результатов в количественном или денежном выражении, должны подтверждаться скриншотами полученных результатов.
Монетизация базы и шаблона в продукте не заявлена.

В каком виде предоставлен материал и насколько удобно он оформлен?
- комплект баз данных, вернее набор дампов отдельных таблиц для базы данных + дамп пустой структуры базы данных
- шаблон + инструкции по настройке и запуску
- простенькая веб морда с инструкцией

Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
2 дня в неспешном режиме

Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
В силу того, что я регулярно работаю с дампами баз данных, проблем не было никаких.
Входные настройки шаблона очень просты – нужно потыкать галочки на нужных разделах и запустить сбор данных.
Единственная проблема была с дампом общей структуры БД, т.к. он был кривоват и виновата в этом виндовая софтина, которую использовал автор. Пришлось слегка поправить дамп перед импортом.

Сколько времени заняло достижение заявленного автором результата?
Как таковой результат не заявлен. Целью проверки является сопоставление описания и технической составляющей продукта.

Нужны ли специальные навыки и дополнительные материальные вложения?
Для базового использования БД никаких специальных навыков не нужно, т.к. выборка осуществляется единственным запросом SELECT. Если же кто-то захочет самостоятельно сделать для себя рюшечки, например в виде функциональной веб морды, то пригодится знание sql и php. Расходов ессно быть не может, т.к. все на локальной машине.
Для работы шаблона нужны качественные прокси + сервер, если нет желания нагружать свою машину. Вообще, тут вопрос необходимых объемов парсинга.

Оказывал ли автор должную поддержку в процессе проверки?
Мне поддержка не требовалась.

Каковы в целом общие впечатления о компетентности автора?
Автор давно известен, как разработчик шаблонов. Объем собранной информации и работа шаблона подтверждают компетенцию.


А теперь в свободной форме.
Тестирование я проводил на локальной машине с OpenServer.
Зенка у меня Pro, но давно не обновлял, поэтому автору пришлось выписать мне zennobox, т.к. на 5.7.3 шаблон не хочет работать.

Для начала я решил полностью развернуть БД и втянуть все данные в таблицы. Каждая таблица соответствует отдельному разделу авито. И вот тут произошел затык – PhpMyAdmin отказался втягивать дамп структуры БД. Пришлось сменить кодировку на utf8 и стереть пару строчек в начале дампа. Вполне возможно, виндовая софтина втянула бы дамп, но я как то их не люблю.
Далее я последовательно импортировал дампы всех таблиц, чтобы посмотреть число записей по каждому из разделов. Также, для тестов сделал несколько синтетических выборок и даже потыкался в объявления на авито. Проверять наличие объявления на авито считаю глупым, т.к. оно может отсутствовать по любой причине, самое банальное – товар продан.
Просмотр БД подтверждает, что данные спаршены, а не сгенерированы.

С zennobox и шаблоном никаких проблем на возникло, т.к. там все очень просто устроено.
Я провел два эксперимента:
1. Для парсинга я взял небольшой абсолютно чистый блок ip. Шаблон работал весьма шустро. Большие объемы данных я не собирал, т.к. ip в пуле было совсем немного и не хотелось их загнать в бан. Целью эксперимента было проверить, что шаблон умеет собирать данные с различных разделов авито.
2. Для парсинга я взял proxy из публичных источников – просто собрал их с помощью проксичекера, который встроен в зенку. Так вот, практически ничего собрать не удалось. По логу работы шаблона было видно, что прокси бодренько уходят в бан у авито.
Если честно, то иного результата я не ожидал. Авито давно закручивает гайки.
Отсюда следует вывод о ценности уже собранной базы.

Вебморду особо и тестить не нужно – она просто позволяет постранично листать записи из нужной таблицы БД. Да, листает.

Автор в комплекте приложил мануал с описанием нескольких способов монетизации. Это идет бонусом и ессно ничего не проверялось на практике. Если все одновременно кинутся юзать один из способов, то создадут друг другу нехилую конкуренцию. На самом деле, способов монетизации очень много и я думаю, что те, кто записан в складчину, понимают зачем им этот объем информации.

У меня сложилось впечатление, что изначально автор планировал продажу только самой БД, а шаблон в итоге приложил для увеличения ценности продукта. Шаблон написан с упором на круглосуточное использование и удаленное управление – статус работы через телеграмм бот, хранение proxy в БД и файлы настройки, которые можно редактировать во время работы шаблона.


Материал соответствует заявленным характеристикам.

 

Сколько прокси нужно для сбора.
Ну например: собрать шаблоном 5000 резюме, 10000 резюме.5000 объявлений какого нибудь открытого раздела (недвижимость, услуги)

 

Я думаю, что на этот вопрос лучше всего ответит автор, т.к. он парсит на очень длинной дистанции и имеет подробную статистику.

 

можно и одним прокси собирать. Вопрос времени
На данный момент 1 севрак работает 5-6 объяв в 1 секунду
136 прокси, потокам хватает. т.е. нет простоя

 

спасибо за ответ, задам по другому вопрос
С одним прокси сколько скорость сбора, с 10 прокси
прокси самоподнятые, или покупные?
будут рекомендации какие брать прокси. Как часто в бан уходят?
Просто у меня есть парсер без прокси собирает 350-400 в час объявлений, но он не парсит резюме

 

не замерял
использовал всегда больше прокси, чтобы потоки не стояли. Шаблон пишет в лог, если ему прокси не хватает
Каждый прокси имеет свою стату, где указано время последнего взятия и работы. Это помогает избежать бана авито.
И согласно выводу в лог, просто добовлял еще, если нужно было
.

покупал

Не будет.
Очень много продажников где прокси в бане. Я потерял много времени и денег на эти тесты.
Если я напишу где покупать, завтра там все будет в бане.
ориентируйтесь на это Скрытая ссылка

если взять все время что я парсил, в бан ушел менее 1 %
Это не включает те пркоси, которые после первого прохода сразу в бане. Это те которые работают и в процессе работы поадают в бан
Это не прокси плохие, не шаблон - это ответ авито.
Заметил не раз, что используется волна бана. Когда в одно и тоже время, на разных серваках, на разных прокси - идет несколько прокси в бан.
При этом в работе ничего не меняется.
Поэтому была добавлена настройка, если произошел бан прокси, то идет пауза. Ее вы можете менять во время работы шаблона

это просто извращение
Почему не подкинуть проксей и спарсить не ждав столько времени, не мучав машину
время деньги

 

Спасибо за развернутый ответ
Получил ответы на все вопросы