Парсер продаж на Etsy [zennoposter]

Складчина: Парсер продаж на Etsy [zennoposter]

Всем привет.
Предлагаю вашему вниманию небольшой шаблон для парсинга продаж магазинов Etsy!
На данный шаблон меня вдохновила складчина от @Манана81 по продаже цифровых товаров, поэтому, в первую очередь, он будет полезен тем, кто приобрел тот курс.

Для тех кто не в курсе: у всех магазинов на Etsy есть раздел, где отображена каждая продажа поштучно. Именно этот раздел мы и будем парсить.

Что же делает шаблон?

1. Получает на вход нужные для обработки магазины.
2. Собирает заданное кол-во (либо все) страниц товаров с раздела продаж.
3. Для каждого магазина генерирует свой отчет содержащий:
   • фото товаров
   • ссылки на них
   • даты последних продаж
   • суммарное количество продаж по каждой позиции
4. Опционально генерируется общий отчет, содержащий всю статистику по обработанным магазинам

Сгенерированный отчет позволит отследить наиболее продаваемые или, наоборот, непопулярные товары. Эта информация может помочь вам как на начальных этапах становления вашего магазина, так и для увеличения продаж уже состоявшегося магазина, путем отслеживания предпочтений покупателей и подстраивания под них товарного ряда.

Принцип работы работы можно увидеть на видео:

Спойлер: Описание происходящего на видео

1. Из поиска Etsy были выбраны 3 случайных магазина
2. Их названия были помещены в текстовый файл, с которым работает шаблон
3. В настройках шаблона было выставлено количество обрабатываемых страниц для каждого магазина = 5
4. В дополнительных настройках был выставлен вывод в консоль информации о том какая страница обрабатывается, с шагом 1.
5. После обработки первого магазина был показан сгенерированный отчет .
6. После завершения работы шаблона был показан общий отчет.

Технические вопросы
- Шаблон работает на C# и не использует эмулятор браузера, так как это бы в разы замедлило его работу.
- Парсинг и обработка одной страницы занимает в среднем около 1с. Плохая новость в том, что при больших показателях продаж сильно разрастается и количество страниц, так как на одну страницу Etsy выдает всего-лишь 26 позиций. Большую часть времени у меня занимало именно получение ответа с контентом страницы, поэтому думаю, что все будет зависеть от вашего интернет-канала.
- Многопоточности нет. И пока не планируется.
- Поддержка прокси - есть.
- Парсил магазины на протяжении нескольких часов - бана по IP не было. Однако, для дополнительной безопасности вывел в настройки возможность выставлять задержки между запросами.
- Также, рекомендую проставлять ограничение на количество обрабатываемых страниц магазина. Иначе обработка может занять очень много времени.
- Шаблон открыт только на выполнение.

Спойлер: Скриншоты

Настройки шаблона:



Пример отчета:

Борьба с возражениями

Спойлер

В: Зачем мне покупать шаблон, если на Etsy есть возможность отсортировать товары по кол-ву продаж?
О: Алгоритм подсчета Etsy мне немного не ясен. Если бы сайт просто показывал топ проданных товаров с их реальным количеством, то вопросов бы не было, однако он может показать один и тот же товар на одной странице несколько раз, а также показать товар первым в списке, хотя у него было всего 2 продажи, а у остальных в разы больше. Вот пример такого магазина:

не могу ручаться за то, что там что-то не измениться, но в данный момент первым идет товар у которого, как раз всего две продажи (можно пролистать и посмотреть). Товар же, который имеет 18 продаж, идет почти последним на этой странице.
Второй момент - это отсутствие общего отчета, который агрегирует данные сразу с нескольких магазинов.

В: У Etsy есть свое API, которое, возможно, предоставляет более быстрый способ получения и фильтрации продаж. Почему не использовать его?
О: Парсер я делал по-большей части для себя и времени, как и желания, разбираться с API, к сожалению, нет. Нужно регистрироваться как разработчик и получать индивидуальный токен для возможности дальнейшей работы + не уверен, что они дают возможность так нагло тащить эти данные. Однако ничего не могу сказать, может кто разберется и захочет попробовать поработать с API.

В: Ок, почему цена именно такая?
О:
- Почему такая большая? Потому что я все-таки потратил свое время на причесывание шаблона и готов осуществлять месячную поддержку в приватной теме, а также необходимые доработки.
- Почему такая маленькая? Потому что этот инструмент не так сложен в реализации, и я не готов брать за него большие деньги. А также я очень надеюсь, что он действительно сможет принести кому-нибудь пользу кроме меня.

В: Че отчет такой некрасивый?
О: А ты че такой некрасивый? В папке с шаблоном лежит файл стилей, который вы можете изменять на свой вкус и цвет! Но я согласен, возможно стоит что-нибудь подправить.

В: У меня нет Zennoposter'a. Что это вообще такое?
О: Zennoposter это программа, позволяющая автоматизировать любую работу в сети и не только. Она стоит денег, подробнее почитать можно на оф. сайте:

Однако, можно использовать бесплатную демо-версию. Об её ограничениях можно почитать здесь:

. От меня будет посильная помощь в запуске шаблона для тех, кто с этим еще не сталкивался.

В: Может Zennobox?
О: Вряд ли Учитывая стоимость шаблона, платить дополнительно $10 вряд ли кто-то захочет. Но если захочет, то почему бы и нет. Для тех кто не знает, Zennobox - это программа позволяющая работать с конкретным шаблоном без Zennoposter'a, однако за нее надо заплатить мзду, указанную выше.

Планы
- Добавлю возможность выбора какой из списков парсить: отсортированный по дате либо по "популярности". Сейчас работает только со вторым вариантом. Сделано.
- В планах было добавить возможность сбора магазинов по конкретному поисковому запросу и дальнейшая стандартная работа с ними. Это не сложно, но нужно собраться.

Организационные моменты:
- Повторюсь: Zennoposter обязателен!
- Поддержку могу осуществлять на протяжении месяца.
- Если особого интереса к шаблону не будет - нет проблем, складчину закроем!
- Если вдруг Etsy забанит вас по IP за наглость, то я тут ничего поделать не смогу, придется пытаться использовать прокси, если Zennoposter позволяет.
- Только сейчас подумал, что можно делиться отчетами. Тогда, в принципе, люди, у которых нет Zennopostera, либо закончилась демо-версия и лень перепривязывать, смогут оставлять заявки на нужные магазины. Но это так, не уверен, что действительно будет такая необходимость.
В дальнейшем, возможно, сделаю агрегатор общих отчетов из уже готовых.


Проверяющие:
1) @vandam - отзыв
2) @ex1stence - отзыв
3) @Cheshir - отзыв

 

Полезная штука. Но надо прикрутить к этому шаблону возможность использования прокси (с авторизацией по логину и паролю). Чтобы не рисковать баном своего магазина. И, конечно же, сбор по конкретному запросу.

 

Я читал руrоводство по api, оно дает ограничения на количество запросов.
Но через него можно замутить шикарнейший шаблон)
Скрытая ссылка типа этого
Вообще, скажу так, на первых этапах работы с этси твой шаб полезен, но потом количество проданных товаров конкурентов не интересно, главное отследить на каком месте твой товар в поисковом запросе.

 

Давай я проверю

 

тоже могу взять на проверку

 

Шаблон считает кол-во вхождений товара в листинг при заданном количестве обрабатываемых страниц? Если да, то парсинг из списка, отсортированного по дате, был бы более интересен с точки зрения выявления товаров, популярных в настоящем и недавнем прошлом. Сейчас же, если я правильно понял, что парсинг идет по списку, отсортированному по "популярности", и с учетом (опять же, если я правильно понял) что критерии "популярности" неизвестны, то непонятно, как интерпретировать результаты парсинга.

 

Готов выступить проверяющим. Zennoposter имеется.

 

С прокси и многопоточностью было бы еще веселее) Будем всё же надеяться)

 

На всякий случай скажу, что чтобы парсить не обязательно быть залогиненным. Но да, IP будет одинаковый. Прокси прикручу.

Как будет возможность - гляну. Возможно это будет интересно реализовать.

Да, согласен. Это можно реализовать, причем используя тот же подход ( не знаю, насколько лучше/легче это через API будет сделать). Может и докину такую возможность.

Согласен. Я пока писал текст стартпоста тоже об этом подумал, поэтому в разделе "планы" указал, что это будет сделано. Это не долго.

Хотелось бы что бы кто-нибудь проверил на демке, чтобы быть на 100% уверенным, но должно быть всё ок. @Манана81, у тебя Zenno есть? Если нет, то обязательно прочитай информацию по ограничениям Zenno, которую я дал в стартпосте по ссылке.
А так - всем welcome, могу выдать хоть сейчас, но считаю, что нужно написать небольшой мануал по настройкам. Я не знаю как нужно подтверждать проверяющих, поэтому жду сообщений в личку.

Прокси будет, а вот многопоточность...не буду обещать, но посмотрим как пойдет. Может быть сейчас у проверяющих ничего не заработает и меня вообще в бан кинут =))

 

Это понятно) Я имел ввиду опцию авторизации для прокси вида логин:пароль@ip:порт.

 

да, уже делаю

 

Я так понимаю, если у Вас не Lite или Demo, многопоточность будет. А так из видео все ясно по функционалу. Cам хотел нечто подобное написать.

 

К сожалению нет. Так как её надо реализовывать на уровне C#. Попробуй, конечно, но лично у меня на про-версии обработка происходила не в параллель.

прикрутил.

Проверка идет уже двумя проверяющими.

 

Сделал.

 

@Манана81

 

Эта штуковина на маке работает, или только под винду?

 

Zennoposter только под винду, к сожалению.

 

Отзыв:

На проверку был получен шаблон для ZennoPoster + текстовый мануал на одну страничку. Если ранее уже пользовались ZennoPoster то думаю проблем с запуском не возникнет. Все параметры настройки шаблона подробно описаны в инструкции. Можно сказать, все интуитивно - освоить шаблон сможет и новичок. Тестировал несколько дней, все вопросы по работе шаблона решались в процессе, были устранены мелкие баги. У меня скорость работы шаблона получается, как и заявлено, примерно 1 стр. в сек. Т.е. на парсинг 100 страниц уходило премрно +-100 сек. Считаю что если пользоваться шаблоном без фанатизма то бана быть не должно, но если желаете перестраховаться, то для этих целях разработчик добавил возможность использование прокси. В общем шаблон полностью соответствует описанию из стартпоста, весь заявленный функционал присутствует.
Итог: материал полностью соответствует заявленному автором и отрабатывает свою цена на 100%

 

А возможно сделать парсинг самых продаваемых товаров конкурентов из раздела? видеть в каком направлении копать

 

Если ты имеешь ввиду фильтрацию по разделам самих магазинов, то идея интересная. Технически вроде как не сложно это сделать. Опять же все в объемы данных упирается.
Обещать в рамках складчины не буду (тем более ей еще ход не дали), но постараюсь сделать.