Курс Python: Промышленная разработка [2022] [bigdata team] [Алексей Драль]

Курс Python: Промышленная разработка [2022]
bigdata team
Алексей Драль

Авторский курс Python от Алексея Драля для IT-специалистов. С нами вы научитесь писать чистый и поддерживаемый код как в лучших технологических компания.

Почему мы сделали этот курс?
Монолитный, неподдерживаемый код сложно тестировать, изменять, дебажить. Когда вы почти все свое время тратите на поддержку, а до релиза в прод проходит бесконечность ─ это признаки неподдерживаемого кода. Когда вы не можете воспроизвести результаты исследований своих коллег ─ это признаки неподдерживаемого кода. Когда вы не можете быстро проверить правильность факторов для модели машинного обучения ─ это признаки неподдерживаемого кода.

Цель курса ─ научить вас писать код, который легко читать, тестировать, отлаживать, поддерживать и расширять. В этом смысл слов "промышленная разработка".

Для кого этот курс
1. Разработчики
Освоите лучшие практики разработки ПО, научитесь писать поддерживаемый код, прокачаете знания Python. Подойдет Junior и Middle разработчикам.
2. Аналитики
Научитесь писать код, который позволяет воспроизводить результаты исследований и эффективно проверять гипотезы.
3. Data Scientists
Научитесь писать код, готовый к интеграции в продукт или сервис.

Спойлер: Содержание

Часть 1 - Тестирование приложений, консольные приложения, юникод и кодировки

Вы научитесь работать с распределенными файловыми системами, познакомитесь с экосистемой Hadoop, разберетесь с оптимизацией MapReduce вычислений и работой с Hive.

1.1 Тестирование приложений

• Что такое TDD и как правильно делать рефакторинг.
• Пишем юнит-тесты с помощью pytest и PDB.
• Что такое DevOps и как помогает жизни CI/CD.

1.2 Консольные приложения (argparse)

• Изменяем аргументы командной строки (CLI), а не код.
• Разбираем аргументы консольного приложения с помощью argparse.
• Следим за качеством кода с помощью pylint, покрытием кода тестами pytest-cov и скоростью выполнения тестов.
• Как правильно создать логику callback-вызовов в зависимости от аргументов командной строки и причем здесь open-closed principle.

1.3 Юникод, введение в логирование

• Что такое Unicode, character и code point.
• Познаем разницу между bytes и Unicode.
• Расширяем консольное приложение для работы с кодировками UTF-8, koi8-r.
• Учим изменять кодировку стандартных потоков входа (STDIN) и выхода (STDOUT).

​

Часть 2 - Логирование, Mock внешних зависимостей, автоматизация работы с Web

Вы научитесь настраивать логирование, работать с имитацией поведения внешних ресурсов, использовать Web-технологии для автоматического парсинга интернет-страниц.

2.1 Логирование в Python, YAML

• Знакомимся с особенностями реализации logging в Python.
• Настраиваем логирование с помощью YAML-конфига.
• Изучаем поведение различных уровней логирования.
• Тестируем реализацию с помощью caplog fixture в pytest.

2.2 Mock внешних зависимостей

• Изучаем patch и Mock.
• Изменяем поведение тяжеловесных функций или внешних вызовов на примере sleep в тестах.
• Познаем контекст вызова для правильной реализации patch / mock.

2.3 Автоматизация работы с Web

• Знакомимся (или вспоминаем) Web под капотом (HTTP, HTML, OSI Model).
• Автоматизируем поиск / мониторинг внешних сервисов с помощью библиотеки requests.
• Вычленяем нужную информацию из HTML с помощью lxml, XPath и BeautifulSoup.

​

Часть 3 - Паттерны проектирования, Web-сервис, мониторинг приложений

Вы познакомитесь с самыми используемыми паттернами проектирования, напишете собственный Web-сервис и научитесь его деплоить и тестировать.

3.1 Паттерны проектирования

• Введение в паттерны проектирования (Design Patterns).
• Порождающие паттерны (Creational) на примере Factory Method и Abstract Factory.
• Поведенческие паттерны (Behavioral) на примере Strategy.
• Структурные паттерны (Structural) на примере Composite.
• Задание на декоратор (Decorator).

3.2 Пишем Web-сервис с нуля

• Flask, werkzeug и Jinja2.
• Познаем что такое wsgi, почему Flask в чистом виде не катит для production.
• Тестирование и разработка Flask-приложений через TDD-парадигму.
• Flask json API, templates и static.

3.3 Мониторинг приложений

• Масштабируем приложение на примере gunicorn и Nginx.
• Создаем поддерживаемые Web-сервисы и настраиваем мониторинг на примере Graphite и Grafana.

​

Продажник