Закрыто

Большая база сообществ ВК с параметрами [8.7 млн. шт, собрана в январе 2019]

Тема в разделе "Бизнес и свое дело", создана пользователем WebBot, 10 янв 2019.

Цена: 12580р.
Взнос: 1500р.
58%

Основной список: 17 участников

Резервный список: 1 участников

Статус обсуждения:
Комментирование ограничено.
  1. 18 янв 2019
    #21
    Anyaax
    Anyaax ЧКЧлен клуба
    спасибо за отклик! а если это дело поменять местами (сделать пару user_id и group_id_n) и в процессе парсинга просто производить перерасчет по user_id путем заполнения (набивки) связанных с ним групп? тогда число строк не превысит число главной переменной.
    то есть, идет парсинг пользователей по группам, находит повтор пользователя по id, и просто закидывает к существующему описанию пользователя новую группу (на повторы можно проверять не сразу, ужимая базу по мере ее накопления, наверное, так производительней).
     
  2. 18 янв 2019
    #22
    WebBot
    WebBot ПартнерПартнер (А)
    Со всем этим можно экспериментировать, но явно не в рамках этой складчины :)

    p.s если просто в какой-то столбец пользователя писать все группы в которых он состоит через запятую (а вы похоже предлагаете именно это), то никаких выборок из такой таблицы потом сделать будет почти невозможно! Что бы было удобно делать выборки, искать зависимости, пересечения и тд нужно именно group_id | user_id .... плюс не забывайте что эти данные очень быстро меняются, их нужно очень часто обновлять... сегодня юзер состоит в 3 группах, а завтра уже в сотне состоит ...
     
    1 человеку нравится это.
  3. 18 янв 2019
    #23
    Anyaax
    Anyaax ЧКЧлен клуба
    ну я это и предлагала как поле для творчества будущих складчин ). нет, я думала делать не через запятую, а чтобы каждая группа отдельным столбцом. все-равно, как атрибут.
     
  4. 18 янв 2019
    #24
    Testimonial
    Testimonial ШтрафникШтрафник
    Официальный отзыв проверяющего:

    ВИДЕО ОТЗЫВ:


    Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?
    MySQL пользовался первый раз в жизни. До этого проверял базы в ДЦС "Складчик"

    В каком виде предоставлен материал и насколько удобно он оформлен?
    2 архива с базами + текстовый файл с инструкцией

    Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
    Примерно 20-25 минут на полную подготовку и извлечение отфильтрованных мной искомых данных в excel по аналогии с инструкцией

    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
    Усваивается как по маслу, был приятно удивлен

    Сколько времени заняло достижение заявленного автором результата?
    Примерно 20-25 минут на полную подготовку и извлечение отфильтрованных мной искомых данных в excel по аналогии с инструкцией

    Нужны ли специальные навыки и дополнительные материальные вложения?
    Вообще не нужны

    Оказывал ли автор должную поддержку в процессе проверки?
    Мне помощь не была нужна, но при выявлении одним из проверяющих недостатка в базах они были исправлены, а базы еще и дополнены

    Каковы в целом общие впечатления о компетентности автора?
    Автор компетентен в том что предлагает и за пределами предложенного. Меня как новичка впечатлило быстрое дополнение базы на 8,7 млн строк

    Если в процессе проверки возникали какие-либо конфликты, недовольства либо значительные несоответствия полученных вами результатов заявленным автором в описании складчины - отразите эти моменты в своем отзыве.
    Выявлено не было

    Вывод:
    Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины


    Отсебятина:
    Еще раз подчеркну, что используя MySQL первый раз в жизни не испытал никаких проблем.
     
    7 пользователям это понравилось.
  5. 18 янв 2019
    #25
    WebBot
    WebBot ПартнерПартнер (А)
  6. 20 янв 2019
    #26
    htrmaster
    htrmaster ОргОрганизатор
    Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?
    MySQL пользуюсь постоянно, в тематике ВК скорее новичек.

    В каком виде предоставлен материал и насколько удобно он оформлен?
    Два архива с базами (сокращенной и полной) и вордовский файл с инструкцией

    Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
    Полчаса по инструкции и столько же баловался с разными запросами и фильтрами.

    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
    У меня никаких затруднений не вызвал.

    Сколько времени заняло достижение заявленного автором результата?
    Установка по инструкции 10-15 минут.

    Нужны ли специальные навыки и дополнительные материальные вложения?

    Доп вложений точно не нужно, навыки минимальные, по работе с базами данных. Автр приводит примеры запросов и фильтров, но конечно весь смак если вы сами умеете их создавать.

    Оказывал ли автор должную поддержку в процессе проверки?
    Да.

    Каковы в целом общие впечатления о компетентности автора?
    Автор полностью компетентен.


    Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины


    От себя: Очень интересная база данных, применение ограничено только вашей фантазией) вот пара выборок примеров
    1. количетво групп по городам
    2019-01-20_19-38-09.png
    2. количество групп в названии "игр" с открытой стеной
    2019-01-20_19-52-21.png
    база полностью готова для работы :cool:
     
    3 пользователям это понравилось.
  7. 20 янв 2019
    #27
    WebBot
    WebBot ПартнерПартнер (А)
    1 человеку нравится это.
  8. 23 янв 2019
    #28
    ZevSua
    ZevSua ОргОрганизатор
    ОТЗЫВ: (еще 1 лишним не будет)
    - Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?
    c MySql практик
    - В каком виде предоставлен материал и насколько удобно он оформлен?
    2 архива с базами. один на 2,8Гб, второй на 200мег + Вордовский документ с инструкцией на 20 страниц
    - Сколько времени заняло достижение заявленного автором результата? Нужны ли специальные навыки и дополнительные материальные вложения?
    Установка OpenServer - не на слабом компе минут 20.
    (От себя добавлю: ставятся с Опенсервером все существующие пакеты VisualC+ и прочее. Поэтому желательно в это время ничего на компе не делать, и все позакрывать. Особенно браузер, ибо установка этих приблуд часто проблемна. Ну или откажитесь от установки пакетов Visual но не гарантирую что заработает норм ОпенСервер). Импорт в базу данных с бекапа занял еще 15 минут.
    Вот лиш малая часть того что наустановилось:
    1111.png
    Изучение запросов и тесты ушло 1 час.
    - Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
    Все просто и доступно
    - Нужны ли специальные навыки и дополнительные материальные вложения?
    Доп вложений не нужно, навыки минимальные.
    Обязательное наличие свободного места на диске в размере минимум 25 гиг.
    рабочая папка занимает:
    Свойства OpenServer.png

    - Выводы:
    Напоминаю в базе присутствуют такие поля
    3.png

    После запроса выборки интересующих полей. (поиск в названии ключа "одежд", отображение городов, и количество участников не меньше 5000. Также отображение сайта и открытости стены)
    2.png
    Получил такой результат в Excel:
    vk_gr.csv - Excel.png

    - Итого,
    5.7.1. Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.
     
    4 пользователям это понравилось.
  9. 23 янв 2019
    #29
    WebBot
    WebBot ПартнерПартнер (А)
    @ZevSua
    спасибо за отзыв!
     
  10. 26 янв 2019
    #30
    Jeus
    Jeus ЧКЧлен клуба
    Так база обновляться будет или нет?:rolleyes: И если будет, то в течении какого времени, и как часто?
     
  11. 27 янв 2019
    #31
    WebBot
    WebBot ПартнерПартнер (А)
    Приветствую.
    Давать какие-то гарантии обновления и тем более конкретные сроки я не готов!
    Но если в ближайшие 3 месяца с момента завершения складчины вдруг будут какие-то обновления этой базы, то складчики получат на них ссылку!
     
    2 пользователям это понравилось.
Статус обсуждения:
Комментирование ограничено.