[Повтор] Парсер продаж на Etsy [zennoposter] + Бонус

Складчина: [Повтор] Парсер продаж на Etsy [zennoposter] + Бонус

Всем привет.

После прочтения этого поста - прочитай вот этот

Предлагаю вашему вниманию ( скорее всего последний ) повтор складчины на небольшой шаблон для парсинга продаж магазинов Etsy!

Курс будет полезен тем, кто:
1) Имеет свой магазин на Etsy и хочет анализировать продажи конкурентов.
2) Участвовал/будет участвовать в складчине от @Манана81 по продаже цифровых товаров.

Не используя этот парсер вы потеряете кучу времени на анализ конкурентов и самых продаваемых товаров.
А это вы должны делать обязательно, если не хотите рассчитывать лишь на удачу.

Отзывы участников:

Спойлер

ссылка

Для тех кто не в курсе: у всех магазинов на Etsy есть раздел, где отображена каждая продажа поштучно. Именно этот раздел мы и будем парсить.

Что же делает шаблон?

1. Получает на вход нужные для обработки магазины.
2. Собирает заданное кол-во (либо все) страниц товаров с раздела продаж.
3. Для каждого магазина генерирует свой отчет содержащий:
   • фото товаров (размер можно выбирать)
   • ссылки на них
   • даты последних продаж (с последними изменениями на Etsy даты исчезли)
     
   • суммарное количество продаж по каждой позиции
4. Опционально генерируется общий отчет, содержащий всю статистику по обработанным магазинам

Сгенерированный отчет позволит отследить наиболее продаваемые или, наоборот, непопулярные товары. Эта информация может помочь вам как на начальных этапах становления вашего магазина, так и для увеличения продаж уже состоявшегося магазина, путем отслеживания предпочтений покупателей и подстраивания под них товарного ряда.

Принцип работы работы можно увидеть на видео:


Видео старое, поэтому интерфейс настроек шаблона неактуальный, но принцип работы сохранился.

Спойлер: Описание происходящего на видео

1. Из поиска Etsy были выбраны 3 случайных магазина
2. Их названия были помещены в текстовый файл, с которым работает шаблон
3. В настройках шаблона было выставлено количество обрабатываемых страниц для каждого магазина = 5
4. В дополнительных настройках был выставлен вывод в консоль информации о том какая страница обрабатывается, с шагом 1.
5. После обработки первого магазина был показан сгенерированный отчет .
6. После завершения работы шаблона был показан общий отчет.

Технические вопросы
- Шаблон работает на C# и не использует эмулятор браузера, так как это бы в разы замедлило его работу.
- Парсинг и обработка одной страницы занимает в среднем около 1 с. Плохая новость в том, что при больших показателях продаж сильно разрастается и количество страниц, так как на одну страницу Etsy выдает всего-лишь 26 позиций. Большую часть времени у меня занимало именно получение ответа с контентом страницы, поэтому все будет зависеть от вашего интернет-канала.
- Многопоточности нет. И пока не планируется. Но вроде как можно запустить два разных инстанса шаблона (я не проверял).
- Поддержка прокси - есть.
- Бана по IP ни у кого не было (парсили и по 7 часов к ряду). Однако, для дополнительной безопасности вывел в настройки возможность выставлять задержки между запросами.
- Также, рекомендую проставлять ограничение на количество обрабатываемых страниц магазина. Иначе обработка может занять очень много времени.
- Шаблон открыт только на выполнение.

Спойлер: Скриншоты

Борьба с возражениями

Спойлер

В: Зачем мне покупать шаблон, если на Etsy есть возможность отсортировать товары по кол-ву продаж?
О: Алгоритм подсчета Etsy мне немного не ясен. Если бы сайт просто показывал топ проданных товаров с их реальным количеством, то вопросов бы не было, однако он может показать один и тот же товар на одной странице несколько раз, а также показать товар первым в списке, хотя у него было всего 2 продажи, а у остальных в разы больше. Вот пример такого магазина:

не могу ручаться за то, что там что-то не измениться, но в данный момент первым идет товар у которого, как раз всего две продажи (можно пролистать и посмотреть). Товар же, который имеет 18 продаж, идет почти последним на этой странице.
Второй момент - это отсутствие общего отчета, который агрегирует данные сразу с нескольких магазинов.

В: У Etsy есть свое API, которое, возможно, предоставляет более быстрый способ получения и фильтрации продаж. Почему не использовать его?
О: Парсер я делал по-большей части для себя и времени, как и желания, разбираться с API, к сожалению, нет. Нужно регистрироваться как разработчик и получать индивидуальный токен для возможности дальнейшей работы + не уверен, что они дают возможность так нагло тащить эти данные. Однако ничего не могу сказать, может кто разберется и захочет попробовать поработать с API.

В: Ок, почему цена именно такая?
О:
- Почему такая большая? Потому, что я все-таки потратил свое время на причесывание шаблона и готов осуществлять месячную поддержку в приватной теме, а также необходимые доработки.
- Почему такая маленькая? Потому, что этот инструмент не так сложен в реализации, и я не готов брать за него большие деньги. А также я очень надеюсь, что он действительно сможет принести кому-нибудь пользу кроме меня.
- Почему больше чем в первой складчине? Потому, что вместе с предыдущими складчиками была увеличена стабильность работы шаблона, добавлены варианты обхода возникающих ошибок, а так же добавлена возможность выбирать размеры фотографий, которые будут загружены.

В: У меня нет Zennoposter'a. Что это вообще такое?
О: Zennoposter это программа, позволяющая автоматизировать любую работу в сети и не только. Она стоит денег, подробнее почитать можно на оф. сайте:

Однако, можно использовать бесплатную демо-версию. Об её ограничениях можно почитать здесь:

. От меня будет посильная помощь в запуске шаблона для тех, кто с этим еще не сталкивался.

В: Может Zennobox?
О: Вряд ли Учитывая стоимость шаблона, платить дополнительно $10 вряд ли кто-то захочет. Для тех кто не знает, Zennobox - это программа позволяющая работать с конкретным шаблоном без Zennoposter'a, однако за нее надо заплатить мзду, указанную выше.

Обновление Etsy от 5.04.2016:
1) Etsy обновила интерфейс редактирования своего магазина, поэтому были подозрения, что это может сказаться на работе парсера, но ничего не случилось. Если же будут какие-то значимые изменения - парсер поправлю. Оказалось, что etsy постепенно вводит свои обновления, и они все-таки повлияли на работу шаблона. Шаблон поправил, однако исчезла возможность получать дату продаж.
2) У магазинов появилась возможность скрывать свои продажи. Если продажи скрыты, парсер не сможет их обработать.

БОНУС​

В качестве бонуса прикладываю шаблон по парсингу магазинов найденных по определенному запросу.
Скрин настроек:

Спойлер

Принцип работы
1) В отдельном файле вы задаете список фраз, по которым парсер будет искать товары.
2) По каждой из фраз шаблон ищет товары и собирает названия магагзинов, которые эти товары выставили
3) Магазины чистятся от дублей и сохраняются в выходной файл.
По итогу работы у вас получается список магазинов, которые вы можете использовать в основном шаблоне. Вот так классно и чудесно!

-------------------​

Организационные моменты:
- Повторюсь: Zennoposter обязателен!
- Поддержку могу осуществлять на протяжении месяца.
- Если вдруг Etsy забанит вас по IP за наглость, то я тут ничего поделать не смогу, придется пытаться -использовать прокси, если Zennoposter позволяет.
- Доп. моменты:

Спойлер

Хочу еще раз указать на различные нюансы для тех, кто, может быть, не до конца понимает как это все работает:
1) Продается не самостоятельная программа. Для работы нужен Zennoposter
2) Zennoposter платный, однако можно использовать бесплатную демо-версию с некоторыми ограничениями
3) Тем, кому лень переходить по ссылке одно из самых главных ограничений - это то, что демо-версией можно пользоваться лишь 14 дней. Затем нужно будет ждать 16 дней для того, чтобы можно было продолжить работу.
4) Чтобы неким образом обойти это ограничение, вы сможете зарегистрировать еще один e-mail, и, как только закончится срок первой демо-версии, удалить ее и установить заново с указанием нового email'a. Когда и эта закончится - можно будет вернуться к первой.
5) Второе ограничение - у вас не будут работать прокси. Хочу заметить, что весь период тестирования шаблона я работал без прокси, и никаких ограничений со стороны Etsy замечено не было. Тем более не было никаких намеков на бан магазина. Однако, думаю, что если пытаться спарсить весь Etsy в один присест, то это может к чему-то привести.
6) Шаблон не работает на версии Zennoposter 5.9.7.1
7) Шаблон также тестировался и работает на версиях 5.8.7.0, 5.9.5.1, 5.9.8.0. Однако это не значит, что на других версиях шаблон не будет работать. Если будут возникать какие-то проблемы с работой шаблона конкретно у вас, то будем решать их как можно оперативней.

Проверяющие:
1) vandam - отзыв
2) ex1stence - отзыв
3) Cheshir - отзыв

 

предыдущие участники получат?

 

так он у вас есть

 

Так ..будем изучать матчасть))) Я думал-это что то новое)))

 

@moovix когда предположительно сборы ? шаблон действительно нужный.

 

Сейчас пока etsy колбасит (то старый, то новый UI подставляется). Как только это устаканится, и пройдет складчина Мананы, то тогда и стартанем. Так как скорее-всего это первый и последний повтор, то чуть-чуть надо подождать народ.

 

UI - это что такое ? впервые слышу. кстати если я ниразу не работал с зенопостер я розберусь по вашему шаблону ?

 

UI - user interface, внешний облик сайта.
Я инструкций по работе с Zennoposter не даю, но помогу в любом случае, если будут возникать какие-то проблемы. Из первого потока не было таких (из числа тех, кто вёл общение), кто бы не разобрался.

 

Друзья! Уже долго молчу, надо отметиться.
На сколько я вижу сегодня Etsy полностью перешла на новый дизайн. Шаблон поправлен и работает.
Изменения:
- Удалил дату продаж листингов из сгенерированных отчетов.
- Если продажи магазина закрыты - то они не смогут быть спарсены.
+ Шаблон доработан под новый дизайн.
+ Если магазин закрыл свои продажи, то в логе будет видна эта информация.
+ Добавлена возможность задавать магазины прямо в настройках.
+ Добавлена возможность фильтровать листинги как на шаге парсинга, так и в отчетах.
+ Увеличина стабильность работы шаблона.

Отчет теперь выглядит так:

Спойлер

По процессу работы шаблона:

1. Из-за изменений Etsy шаблон может немного дольше работать, так как на каждый запрос ему надо получить определенный дизайн (изначально неизвестно какой из дизайнов придет). Однако, если информация подтвердится, и Etsy действительно перешел на новый дизайн окончательно, то скорость не пострадает.
2. Некоторые магазины всё-таки стали закрывать свои продажи. Поэтому:
   • Проверьте магазины, которые бы вы хотели спарсить. Для этого перейдите на нужный магазин и посмотрите на левый столбец:
     Спойлер

     
     Если продажи ссылка на "sales" активна - то всё ок. Если же она отображена простым текстом, то магазин заблокировал эту информацию.
   • Если статистика по вашим магазинам вас не устраивает - лучше не приобретайте шаблон.

Добавлен новый доп. шаблон: Парсинг поисковых подсказок. Вот этих:

Спойлер

Им вы можете спарсить запросы, которые дальше используете в первом доп. шаблоне для парсинга соответствующих магазинов, а затем, используя фильтр в основном шаблоне - получите актуальную информацию по конкретным товарам!

В итоге: думаю, что еще день-два посмотрю на Etsy, чуть подкорректирую шаблон, и, если складчики останутся, то стартанём. Тем более, что курс от Мананы уже выдан.

 

Можно самостоятельно сменить дизайн отчета? Верстать умею

 

Конечно. Сss стиль отдельно лежит.

 

Вот пример отчета вместе со стилями. Если надумаешь брать шаблон, то можешь уже заранее подготовить свой собственный дизайн. Честно скажу, что на лучшую компоновку стиля и форматирования html не претендую. На них терпения не хватает

 

@moovix шаблон парсит описание товара?

 

Нет, только то, что указано в стартпосте. Если парсить описание каждого листинга, то это примерно в 20 раз увеличит время работы шаблона. Отчет генерируется со ссылками, по которым можно перейти и посмотреть описание заинтересовавшего товара.

 

Подскажите, пожалуйста, где пока (в ожидании парсера) можно посмотреть количество продаж конкретного товара? А то вижу только суммарно у всего магазина.

 

Так в том то и дело, что нигде (если про магазины конкурентов). Точнее можете вручную посчитать, насколько я понял.

 

Выше ответили верно В этом соль данного шаблона.

Прошу прощения за задержку. Организатор ждёт завершения текущей своей складчины, и начинаем.

 

Есть еще вопрос) Я совсем никогда не пользовалась Zennoposter, так что хочу узнать-понять и избежать бана на etsy.
Если я буду парсить с другого компа, но один ip, то все же могут забанить и непременно нужен прокси, или не обязательно? Есть ли способ как-то это легко организовать, чтобы все точно было хорошо? И прокси подойдут бесплатные или можно даже какой-нибудь freegate включить (если будет платный zennoposter).
Извиняюсь, если вопрос глупо звучит)

 

Всё ок, вопрос не глупый.
Во-первых, хочу сказать, что банов еще ни у кого не было и вряд ли будет. Люди парсили и по 7 часов. Я сам, недавно, около дня парсил. Без прокси.
Во-вторых, если все-таки хочется подстраховаться, то подойдут любые анонимные прокси. Т.е. бесплатные тоже.
Тут нужно понимать, что шаблон работает без авторизации под каким-то конкретным магазином, поэтому у etsy есть информация только об IP и юзер-агенте, под которым работает Zenno.

 

откройте пожалуйста запись в складчину