[zennoposter] Парсер аватаров участников групп и фото альбомов вКонтакте

Складчина: [zennoposter] Парсер аватаров участников групп и фото альбомов вКонтакте

Всем привет.
Предлагаю вашему вниманию небольшой и скромный, как само описание, шаблон для парсинга аватаров пользователей и фото из альбомов групп/пользователей. Шаблон рассчитан на тех, кто часто имеет дело с заполнением аккаунтов, а так же наполнением сайтов или своих пабликов, например, предоставляющих посреднические услуги по выкупу товаров из Китая.

Настройки предельно простые


В текстовый файл списком указываете числовые id групп, аватары пользователей которых будем парсить или ссылки на альбомы групп/пользователей.
Выбираете количество фото, которое нужно спарсить из каждой группы/альбома
Для аватаров можно выбрать пол: женский, мужской, все

Шаблон сделан на гет запросах, скорость парсинга в среднем 2 фото в секунду.
Аватары будут разрешением 400x400 (иногда с небольшими отличиями). Фото из альбом в максимальном возможном качестве/разрешении.
Об альбомах пользователей
"Шаблон работает только с теми альбомами, которые указаны в меню аккаунта слева. Т.е. если там нет альбомов, то и скачать ничего не получиться. Такие категории как «Фотографии со стены», «Фотографии на стене», «Сохраненные фотографии» создаются ВК автоматически и, к сожалению, для данного шаблона альбомами не являются и не могут быть спарсены. Так же не будет доступны к скачиванию альбомы закрытые настройками приватности."
Создавался и тестировался на ZP версии 5.9.9.1, на других стабильная работа не гарантируется.
Если есть какие-либо разумные пожелания по парсингу фото из вк, пишите.

Цена фиксированная - 75 руб.

 

Ооо еще и какие . много писать.
Возьму на проверку. если что )

 

ого, а чего так дёшево?

 

для меня шаблон несложный, да и запишется может побольше участников.

 

понятно)))
спасибо)))

 

Друзья, в ходе проверки были выявлены следующие особенности парсинга:
если у пользователя альбом скрыт настройками приватности (доступен только друзей и других категорий), то такие альбомы парситься не будут
ещё о нюансах напишут проверяющие. Данную инфу вынес в продажник.

 

ОТЗЫВ:

1. Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?

Опыт работы с ВК – около года, с зенопостером работаю полгода, наверное не очень опытный, но практик

2. В каком виде предоставлен материал и насколько удобно он оформлен?

Материал представлен в виде 1 шаблона зенопостер с рабочим текстовым файлом и видеоинструкции к нему

3. Сколько времени заняло изучение и выполнение заданий данного инфопродукта?

Изучение материала заняло 10 минут и минут 20 на проверку всех функций шаблона.

4. Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?

Материал изложен доступно, усваивается без проблем

5. Сколько времени заняло достижение заявленного автором результата?

Шаблон отрабатывает в соответствии с заявленной автором скоростью

6. Нужны ли специальные навыки и дополнительные материальные вложения?

Я думаю, что у желающих приобрести данный продукт, все необходимые навыки уже есть.

7. Оказывал ли автор должную поддержку в процессе проверки?

Автор охотно сотрудничал и оказывал необходимую поддержку, даже записал для меня личное видео по одному из моих вопросов.
Несколько раз шаблон оперативно дорабатывался по ходу проверки и возникновения вопросов.

8. Каковы в целом общие впечатления о компетентности автора?

Автор компетентен по теме, т.к. в ходе общения учитывал и осуществлял все пожелания по улучшению работы шаблона

9. Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

Произвольная часть.

У меня шаблон не захотел работать с полтычка. Поделюсь своими затыками.

Прежде всего возникла проблема с указанием пути к файлу с заданием. По умолчанию стоит директория проекта, но пока я не прописал полный путь (у меня все папки на русском языке), шаблон не хотел работать.

Видимо у автора в распоряжении мощный комп, т.к. по ходу проверки он несколько поменял логику работы шаблона и теперь он «летает» независимо от ресурсов компьютера.

Важный момент в формулировке «альбом пользователя».

Шаблон работает только с альбомами, указанными в меню аккаунта слева. При отсутствии альбомов в данном меню скачать ничего не получиться.

Альбомы «Фотографии со стены», «Фотографии на стене», «Сохраненные фотографии» создаются ВК автоматически и для данного шаблона недоступны.

Именно на эту тему было записано для меня видео. Так же не будет доступны к скачиванию альбомы закрытые настройками приватности.

Все остальные альбомы, созданные пользователями ВК самостоятельно скачиваются быстро и без проблем.

Итоговый отчет по работе шаблона:

Скрины парсинга 100 аватарок из группы в 2млн. участников, на которых можно оценить скорость и качество работы шаблона:

Скрин парсинга 2000 женских аватарок из сообщества на 4 млн. чел.:

(здесь видим меньшее количество – 1989 вместо 2К, что автор объясняет отсутствием аватарок у некоторых пользователей на таком объеме)

Скрин парсинга фотоальбомов пользователей с небольшим количеством фото:

Скрин парсинга фотоальбома магазина на 1664 фото:

 

ОТЗЫВ:

1. Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?

В ВК работаю чуть больше года. С Зеннопостером работаю ровно год. В наличии зенка стандарт. Материал проверялся на версии зенки: 5.9.5.1

2. В каком виде предоставлен материал и насколько удобно он оформлен?

Материал представлен в виде шаблона зеннопостера и обучающего видео. В видео автор объясняет принцип работы шаблона, как должен быть заполнен текстовый файл и как заполнить настройки шаблона. В видео всё доступно объясняется.

3. Сколько времени заняло изучение и выполнение заданий данного инфопродукта?

Изучение самого материала курса заняло 10 мин. Проверка работы шаблона заняла 30 мин. (немного ниже объясню почему)

4. Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?

Материал усваивается очень легко, так как подан довольно доступно для изучения.

5. Сколько времени заняло достижение заявленного автором результата?

Тут всё зависит от Ваших желаний. Если нужно спарсить 100-300 фото, то на это уйдет 1,5-3 минуты, а если нужно 50000, то по-более (на парсинг 2000 фото было затрачено 9 мин.)

6. Нужны ли специальные навыки и дополнительные материальные вложения?

Дополнительные вложения не нужны. Из навыков нужно знать элементарное: как перейти к альбому с фотографиями в группе (у человека) и взять ссылку на этот альбом.

7. Оказывал ли автор должную поддержку в процессе проверки?

К автору не обращался, так как в мануале всё изложено понятно и этого не потребовалось. (по прошлым сладчинам данного автора могу сказать, что поддержка оказывается и спустя пол года и больше)

8. Каковы в целом общие впечатления о компетентности автора?

Автора знаю по прошлым складчинам на его продукты (участвовал не единожды). Автор компетентен в данной тематике. Если в ходе работы появлялся какой-то затык, то автор помогает устранить данную проблему очень оперативно. Поддержка автора на высоком уровне. Если с моей стороны возникала проблема, то с помощью оперативных ответов автора эта проблема решалась довольно быстро.

9. Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

Произвольная часть.

Шаблон работает отлично и со своей задачей справляется. Здесь объясню, почему на проверку работы шаблона ушло 30 минут, а не меньше. У меня обновленный интерфейс ВК. При скачивании фотоальбомов групп я не обратил внимания на ссылку на фотоальбом, которую вставлял в текстовый файл для парсинга. Она была в таком виде:

И поэтому шаблон мне не спарсил ни одного фото из фотоальбома. Немного повозившись с шаблоном, уже собирался задавать вопрос автору и тут заметил этот нюанс (еще раз пересмотрев видео урок). Для корректной работы шаблона убрал new. из ссылки и всё прекрасно спарсилось.
Поэтому обращайте внимание на данную особенность.

И обязательно обращаем внимание на текст в старпосте: Об альбомах пользователей

Шаблон работает только с альбомами, указанными в меню аккаунта слева. При отсутствии альбомов в данном меню скачать ничего не получиться.
Альбомы «Фотографии со стены», «Фотографии на стене», «Сохраненные фотографии» создаются ВК автоматически и для данного шаблона недоступны.
Так же не будет доступны к скачиванию альбомы закрытые настройками приватности.
Все остальные альбомы, созданные пользователями ВК самостоятельно скачиваются быстро и без проблем.

А теперь немного о результате в цифрах:
Парсинг аватаров участников группы 2000 шт.
Парсинг фото из 2 фотоальбомов аккаунта 200 шт.
Парсинг фото из 2 фотоальбомов группы 500 шт.
Парсинг фото из фотоальбома группы 100 шт.

 

@Joey Barton, а уникализацию картинок сюда можно прикрутить?

 

неа

 

Жаль.
А отдельно такое решение сделать можешь?
PS. Шустро, у тебя тут случаем не зенка автоматом на вопросы отвечает?

 

сделать то можно, но тут такая история: на примере этой складчины. В ней 30 человек по 75 руб, половина выпишется после объявления сборов, останется 15. 15*75=1125. 1125-12%-500 = 490
490 руб невероятно слабая мотивация не то чтобы что-то делать, а даже запускать Project Maker

 

Думаю, что тут ситуация улучшиться, когда до сборов дойдет.

С этим не поспоришь.
Можно попробовать пойти по другому пути. Задай общую цену на такой шаблон, а не для каждого участника.

 

нужна уникализация фото из альбомов вк или просто любых ?

 

Если уже делать отдельный инструмент, то хорошо бы чтоб он был универсальный.

 

ОТЗЫВ:

1. Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?

практик

2. В каком виде предоставлен материал и насколько удобно он оформлен?

шаблон + видео инструкции

3. Сколько времени заняло изучение и выполнение заданий данного инфопродукта?

более 2х часов, далее автор исправил баг и проверка прошла за 5 минут

4. Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?

все очень просто, настройка занимает менее 5 минут.

5. Сколько времени заняло достижение заявленного автором результата?

Все очень быстро, как и заявляет автор

6. Нужны ли специальные навыки и дополнительные материальные вложения?

только зенка, но можно и на демо поработать

7. Оказывал ли автор должную поддержку в процессе проверки?

оказывал, был найден баг, автор очень быстро все решил

8. Каковы в целом общие впечатления о компетентности автора?

автор знает свое дело, на складчике давно.

Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.

 

@Joey Barton Когда стартанем? Отзывы уже готовы

 

по постам как завершится складчина и у меня слот появится, так и стартуем. На днях, надеюсь.