[ZennoPoster] Парсер OLX

Складчина: [ZennoPoster] Парсер OLX

Представляю вашему вниманию шаблон для ZennoPoster по парсингу OLX.

Какие страны парсятся точно:
1. Беларусь
2. Украина
3. Казахстан
4. Узбекистан
(можете спросить относительно других стран - проверю)

Описание шаблона:
1. Шаблон закрытого типа на выполнение
2. Парсинг происходит без использования браузера (на get-запросах), можно запускать в многопотоке
3. Парсинг происходит в 2 этапа (1 - сбор объявлений по категории или по заданному ключу; 2 - парсинг информации из собранных объявлений на первом этапе)
4. Работает без прокси
5. Возможность выбора, какие данные собирать
6. Результат парсинга можно выгружать в список или таблицу
7. Подойдет любая веосия Зенопостера (в том числе демка, если платной версии нет)

Какие данные собирает шаблон:
1. Название объявления
2. ID объявления
3. Ссылка на объявление
4. Имя автора
5. Адрес
6. Цена
7. Количество просмотров
8. Текст объявления
9. Телефон
10. Фото (ссылки на фото или файлы в отдельную папку с названием по ID объявления)

Способы применения (примеры):
> Сбор контактов для рассылки смс (тем, кто ищет работу или продает определенные товары и услуги)
> Поиск партнеров для сбыта продукции
> Отслеживание своих объявлений (количество просмотров)
> Сбор контента (тексты, фото) и др.

Скрин входных настроек:



Отображение результата парсинга в таблице:



P.S.: Нужны проверяющие

 

на сколько потоков тестил и сколько собралось и за какое время?
что происходит с таблицей когда там 100-500 к строк?

 

Для этого желательно парсить, объявление относится к "бизнес" или "частное"
И не мешало бы иметь данные, в какой категории размещено объявление.

 

Если нужно, возьму на проверку.

 

А чего нет прокси?

 

Могу тоже проверить если нужны не оф проверяющие.

 

@Profes Тоже могу быть не оф. проверяющим если нужно

 

Для оценки скорости работы шаблона:
Сбор информации с объявлений (все возможные данные, что на скрине входных настроек) 10 потоков = 4,1 обработанных объявлений в секунду

Что касается таблиц с 100-500 к строк, то здесь стандартно: если Зенопостер и система потянут, то все ок будет (у тех поддержки можешь уточнить, какие максимально по размерах файлы может обрабатывать Зенопостер, в частности таблицы)
(1 Mb = примерно 2000 строк со всеми данными)

Да, можно выбирать бизнес или частные. Вывод категории в результаты добавлю.

Потому что отлично парсится и без прокси. Если будет нужен парсинг через прокси, добавлю.

 

@Profes всегда любой парсинг по умолчанию провожу через проксю. Без прокси мне кажется вообще глупо парсить что-либо

 

Ок, добавлю использование прокси

 

Может мне ктонить обьяснить для чего он вообще применим?
Сам уже с пол года собираюсь шаблон сделать, очень нужный, но постер!.. А вот парсинг то зачем ?? понять немогу.

 

Я правильно понял парсить можно с заданными фильтрами например по такой сылке Скрытая ссылка
и то что "в ТОПе" пропускает или потом самому дубли удалять нужно?

 

Примеры применения есть в стартовом посте

 

Да, можно парсить с заданными фильтрами (в текстовый файл вставляются ссылки).
Присутствует очистка от дублей автоматическая, вручную чистить не нужно.

 

Нужно парсить каталог автомобилей, как бить если нужно основные характеристики спарсить "Модель" "Год выпуска" "Пробег"
"Вид топлива" "Объем двигателя"
или хотя б весь блок с характеристиками закидать в отдельную ячейку как описание,
потому что есть объявления с заголовком "Продам" и описанием "детали по телефону" а основная информация в характеристиках

 

Пройдусь по другим категориям и проверю на предмет подобных блоков с дополнительными данными. Если будет все ок, добавлю вывод этих данных в отдельной колонке.

 

@Profes Польшу можно добавить?

 

Да, я в понедельник смогу проверить на счет Польши и в случае, если что-то там не собирается, доработаю шаблон.

 

Польша нормально парсится

 

Ну если Польша в шаблоне работает, то я с Вами!