Закрыто

[Python] Scrapy - фреймворк для парсинга

Тема в разделе "Бизнес и свое дело", создана пользователем Im MT, 26 авг 2016.

Цена: 30835р.
Взнос: 349р.
101%

Основной список: 94 участников

Резервный список: 1 участников

Статус обсуждения:
Комментирование ограничено.
  1. 16 окт 2016
    #21
    Ragnar Lodbrok
    Ragnar Lodbrok АдминАдминистратор Команда форума
    А может чуть подождем? Уж очень хочется второй бонус. :)
     
  2. 16 окт 2016
    #22
    Im MT
    Im MT МодерМодератор Команда форума
    Чуть подождем, как раз до сборов и будет чуть :)
    Когда дата сборов появится, то еще набежит.
     
    1 человеку нравится это.
  3. 18 окт 2016
    #23
    Roguerus
    Roguerus ЧКЧлен клуба
    С помощью данного материала смогу собрать базу с контактами из Я.карт по нужной категории? спасибо.
     
  4. 19 окт 2016
    #24
    Comradegan
    Comradegan БанЗабанен
    Готов взять на проверку.
     
  5. 19 окт 2016
    #25
    instocky
    instocky ЧКЧлен клуба (А)
    маловероятно... яндекс парсят давно и они все лучше и лучше защищают свою собственность)
     
  6. 19 окт 2016
    #26
    Im MT
    Im MT МодерМодератор Команда форума
    С помощью данного материала, Вы изучите работу фреймворка. Все остальное зависит от Ваших познаний в python и извлечении данных.
     
    2 пользователям это понравилось.
  7. 20 окт 2016
    #27
    dzimon2007
    dzimon2007 ЧКЧлен клуба
    Это как после удаления аппендицита спрашивать: а я смогу теперь играть на пианино?
    scrapy - это инструмент, как Вы его будете использовать и в совокупности с чем, это уже будет зависеть только от Вас. При помощи scrapy можно писать пауков, парсить сайты, собирать данные, но тут нужно понимать, что нужны базовые знания python и умение пользоваться и разбираться в сторонних библиотеках. Например, что бы собирать данные с сайтов использующих javascript (к примеру те же карты яндекса), нужно будет дополнительно разобраться с библиотекой selenium
     
    1 человеку нравится это.
  8. 26 окт 2016
    #28
    snoopp
    snoopp ДолжникДолжник
    Как замену Selenium давно использую Splinter , очень прост и удобен. Может кому пригодится :) А еще есть библиотека, называется PyAutoGui, тоже очень простая, позволяет управлять мышкой, можно кликать на что угодно и как угодно... и вообще, чего только для пайтона нету...;)
     
    2 пользователям это понравилось.
  9. 26 окт 2016
    #29
    Im MT
    Im MT МодерМодератор Команда форума
    Это уже кому, как нравится ;) и что требуется.
    Принцип встраивания таких библиотек в scrapy идентичен. Ничего сложного. Покажу примеры.
     
    2 пользователям это понравилось.
  10. 12 ноя 2016
    #30
    Angelov
    Angelov БанЗабанен
    Я с вами, тема парсинга давно меня интересует, но никак руки не доходили, а тут подробный мануал и на примерах, прям находка для меня, записываюсь! Думаю можно подождать до второго бонуса, я только за! :)
     
  11. 14 ноя 2016
    #31
    Comradegan
    Comradegan БанЗабанен
    Отзыв.
    Обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?
    С парсингом начал знакомиться еще год назад, но почему-то начал это делать на javascript. А потом увидел пару курсов на линда.ком по питон и пошло поехало.
    В общем целом, можно сказать, что я что-то среднее между новичком и не новичком. Написать что-то смогу, но перед этим придется пошариться в гугле.

    В каком виде предоставлен материал и насколько удобно он оформлен?

    Материал представлен в виде pdf книги с оглавлением.
    Также в книге есть быстрые ссылки на официальную документацию, т.к. не о все моменты отражены в ней самой. Например, глава Настройки. В конце главы приводится список наиболее важных настроек фреймворка, с указанием ссылки на полный список настроек. Очень удобно, как по мне.
    + прилагается архив с готовым проектом, который создается в практической части.

    Сколько времени заняло изучение и выполнение заданий данного инфопродукта? Сколько времени заняло достижение заявленного автором результата?
    Неспешным шагом – 6 дней. Большая часть времени ушла на баловство с фреймворком. Уж очень мне понравилось по сайтам ползать.

    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
    Материал усваивается достаточно легко. Почти на каждый шаг даётся пример с описанием - это очень помогает сориентироваться.

    Нужны ли специальные навыки и дополнительные материальные вложения?
    Таки да! Если в предыдущем руководстве автора требовался низкий уровень вхождения и подробно описывалась каждая строчка кода, то здесь уже нет ничего подобного. Базовые знания python и устройства web страниц должны быть обязательны.

    Оказывал ли автор должную поддержку в процессе проверки? Каковы в целом общие впечатления о компетентности автора?
    Это уже второй материал по парсингу от данного автора и в целом все хорошо. Ну а его складчины на различные ресурсы, проведённые им, причём с годовым обновлением, говорят сами за себя.

    Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.
     
    2 пользователям это понравилось.
  12. 16 ноя 2016
    #32
    Juanx
    Juanx ЧКЧлен клуба
    Не совсем понял, новый курс дополняет старый, или новый курс полностью новый и что бы его усвоить изучение первого курса необязательно?
    Дается ли информация о том, как парсить "требовательные" сайты, например, гугл.
     
  13. 16 ноя 2016
    #33
    Im MT
    Im MT МодерМодератор Команда форума
    Это отдельное руководство. Первое не обязательно.
    Нет, дается лишь информация по фреймворку.
    После разбираем разные случаи по запросу в приватной теме.
     
  14. 17 ноя 2016
    #34
    onlywebstudy
    onlywebstudy ОргОрганизатор
    Отзыв

    Материал представлен в виде учебника в pdf формате, содержащий около 60 страниц. Не особо много, но без воды. Все по делу.

    Условно материал разделен на 3 части. Первая часть посвящена теории и основным составляющим фреймворка, приводятся примеры. Вторая часть – практическая, создается полный проект. Третья часть, как дополнение. Не особа важная, но очень полезная информация о запросах, настройках и т.д.

    Смутило отсутствие главы об установке фреймворка. Была дана всего 1 команда. Как оказалось, этого действительно достаточно. Фреймворк встал ровно и с полпинка.

    В руководстве нам предлагают использовать xpath вместо css селекторов для извлечения данных. Я никогда ранее с ним не встречался, но он оказался действительно удобным.

    Теперь по вопросам,

    Обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?

    C python знаком давно, а вот парсингом никогда не доводилось встречаться.

    В последнее время стал понимать, что очень много рутинных процессов, в т.ч. и в организации складчин, можно совершать через парсеры.

    В каком виде предоставлен материал и насколько удобно он оформлен?

    Материал содержит учебное пособие в формате pdf и zip архив с файлами проекта.

    PDF оформлен аккуратно, интерактивное содержание, все при себе.


    Сколько времени заняло изучение и выполнение заданий данного инфопродукта?


    Читается все легко и быстро. Весь материал был освоен за пару вечеров. С ходу конечно все не запомнил – практика исправит.

    Сколько времени заняло достижение заявленного автором результата?

    Если за достижение результата брать создание проекта, то по шагам все создается быстро. На глазах имеется готовый проект, если вдруг что-то пошло не так.


    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?


    В каждой главе присутствуют примеры. Это значительно облегчает понимание описанной функции.


    Нужны ли специальные навыки и дополнительные материальные вложения?

    Несомненно,

    требуется понимания структуры DOM модели и работы с ней. Базовые знания HTML и CSS.


    Оказывал ли автор должную поддержку в процессе проверки?

    Это лишь книга. У меня проблем не возникло.

    Каковы в целом общие впечатления о компетентности автора?

    Что сказать, о полном профессионализме я не берусь сказать, по книге сложно судить. Но все замечательно, многие моменты были разжёваны.

    Как уже сказал проверяющий выше, данный автор уже несколько лет проводит складчины на годовые подписки, где трудятся его роботы, а если это все работает, то ему есть чем с нами поделиться.

    Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.
     
    5 пользователям это понравилось.
  15. 18 ноя 2016
    #35
    corallife
    corallife ОргОрганизатор (А)
    Отзыв

    Обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?

    Опыт работы с парсерами имеется. Мне была интересна работа самого фреймворка.

    В каком виде предоставлен материал и насколько удобно он оформлен?

    Материал оформлен хорошо, есть подробное руководство, как и что делать. Все с подробными картинками и подробным пояснением

    Сколько времени заняло изучение и выполнение заданий данного инфопродукта?

    Само изучение было быстрым, но немного повозился с установками. На винду лучше даже и не пробовать устанавливать, Сразу берите ubuntu и все упростится, но те кто использует python должны об этом знать.

    Сколько времени заняло достижение заявленного автором результата?

    Около 3х дней. Поиграл с кодом и приступил к изучению. Как я писал выше, руководство подробное, хоть и не большое, большое, многие моменты не освящаются, например, для некоторых классов нет описания всех методов. Идет речь только об основных. Если ждете от книги – полный справочник, то не стоит.

    Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?

    Материал описан хорошо. Там, где что-то не досказано в теоретической части, объясняется на примере в практической части + у автора можно спросить, если будет что-то не понятно.

    Нужны ли специальные навыки и дополнительные материальные вложения?

    Материал для новичков не подойдет. Денежные вложения не нужны, но о парсинге представления иметь нужно. Если коротко, то вы уже знаете, что именно хотите, только не хватает пособия на русском языке.

    Оказывал ли автор должную поддержку в процессе проверки?

    Поддержка у автора отличная, как и в других его продуктах. Так что можно не волноваться, но иногда было лень спрашивать, гугл помогал)

    Каковы в целом общие впечатления о компетентности автора?

    Автор в теме разбирается отлично, так что все пользователи будут довольны.

    Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.
     
    2 пользователям это понравилось.
  16. 19 ноя 2016
    #36
    Im MT
    Im MT МодерМодератор Команда форума
    Итак, наконец-то стартуем.

    Пару слов для тех, кто еще думает:
    1. Первый бонус будет в любом случае, даже если половина выпишется.
    2. Как и в предыдущей складчине, Вы сможете спрашивать советы, как сделать ту или иную задачу. Например, здесь уже просили объяснить, как подключать Selenium или другие библиотеки к Scrapy.
    3. Стоит помнить, что основной материал - это:
    4. Изучите оставленные отзывы.
    5. Если что-то хотите еще спросить, то спрашивайте.
     
    1 человеку нравится это.
  17. 19 ноя 2016
    #37
    analytic
    analytic ОргОрганизатор (А)
    Вопрос к автору и другим специалистам - а сам факт отладки в питоне - он визуально удобен? И. есть ли возможность визуально наблюдать работу бота (как например в Zennoposter - можно смотреть в реальном времени работу бота)?
     
  18. 20 ноя 2016
    #38
    Im MT
    Im MT МодерМодератор Команда форума
    Визуально - нет. Это не только питона касается.
    Практически все подобные роботы работают на линукс серверах без графической оболочки.
    В режиме реального времени можно наблюдать, но опять же в текстовом режиме в виде логов.
    В сети можно найти различные веб-интерфейсы для популярных фреймворков, но они не очень функциональны.
     
    1 человеку нравится это.
  19. 20 ноя 2016
    #39
    analytic
    analytic ОргОрганизатор (А)
    Поэтому и развиваю интерес к Python. Спасибо за ответ.
     
  20. 1 дек 2016
    #40
    Im MT
    Im MT МодерМодератор Команда форума
    Запись в складчину открыта до 4 декабря.
     
Статус обсуждения:
Комментирование ограничено.