[Python] Scrapy - фреймворк для парсинга

Складчина: [Python] Scrapy - фреймворк для парсинга

​

По просьбам трудящихся, открываю складчину на подробное руководство по Scrapy.

Scrapy - это open source python framework для парсинга веб-сайтов.

В отличие от предыдущей складчины, в которой рассматривался только пример реализации парсера (how-to), в этой будет подробное руководство по последней версии фреймворка.

Примеры руководства будут построены на реальных сайтах для более детального понимания проблем и их решений.

В рамках складчины будут рассмотрены следующие темы:

• Начальный уровень
  • Принципы работы Scrapy. Класс Spider и его разновидности.
  • Класс Item - структура данных Scrapy.
  • Класс Selectors - собственный класс извлечения данных (аналог BeautifulSoup)
  • то, что не вошло в другие разделы (небольшой, но полезный функционал)
• Продвинутый уровень
  • Обработка и Экспорт полученных данных
  • Расширенные настройки запросов
  • то, что не вошло в другие разделы (небольшой, но полезный функционал)
• Дополнительная информация
  • Работа с командной строкой
  • Настройка Scrapy
• Рецепты

Бонусы*:
120 складчиков - глава о запуске скриптов в Scrapy Cloud
120 складчиков - глава об установке и настройке Scrapy Cloud на свой сервер.
*учитывается кол-во участников только из основного списка на момент активации складчины


Стоимость: 349 рублей

 

Да, по ходу руководства. В каждой главе парсер будет усовершенствоваться.

Специально ждать не будем. Но и старт складчины - не завтра. Времени хватит.

 

Те, кто готов проверить материал в середине сентября, отпишитесь здесь или в ЛС. Есть два места.

 

Осталось немного до первого бонуса и ровно половина до второго.
А пока Вы решаетесь записываться или нет, я ищу еще двух проверяющих на середину сентября.

 

К сожалению, проверяющими могут быть только участниками со статусом Организатор или Модератор

 

Нет, рецепты - это примеры кода решающие частые проблемы.

Основной пример, который будет расширяться по всему руководство - парсер для отслеживания скидок в интернет магазине. Это идеальный вариант для развития по нарастающей.

+ рецепты по неохваченным позициям

 

В относительно не не торопливом темпе ищутся проверяющие. В статусе Модератор или Организатор.

 

1. Конечно.
2. Да, с версии 0.8 реализована поддержка прокси.
3. Имеется.
4. Все скрипты, что есть на страницы в момент загрузки он обрабатывает.
Если что-то нужно подгрузить под действием пользователя (клик, скролл) - нет.
Для этого используются дополнительные запросы или подключается библиотека selenium, которая будет симулировать действия.

 

Такие действия обычно делаются с помощью дополнительного запроса.

В рецептах добавлю пример.

 

Первый бонус предварительно* разблокирован.
*учитывается кол-во участников только из основного списка на момент активации складчины

 

Еще разочек, к выходным ищутся еще два проверяющих. Два. Всего лишь два. Модераторы или Организаторы.

 

Более подходящего раздела не было Тема монетизации раскрыта не будет, поскольку тут их всего несколько и таки очень слабые.

1. Создание парсеров/ботов на заказ. Фриланс.
2. Создание личный проектов использующих ботов. К примеру, сервис по отслеживанию скидок.
3. Продажа напарсенных данных. Как понимаю, в черных кругах очень часто требуются всякие почты, номера телефонов и т.д.

Задача складчины познакомить со scrapy, показать как работают внутренние механизмы и научиться ими управлять.

Кстати, совсем скоро будем собираться