Python для работы с данными [2020] [Нетология] [О. Булыгин, К. Башевой, К. Гусев, Ю. Иванова]

Складчина: Python для работы с данными [2020] [Нетология] [О. Булыгин, К. Башевой, К. Гусев, Ю. Иванова]

Задачи по работе с данными востребованы во всех областях:от банковской сферы и ИТ до тяжелой промышленности и сельского хозяйства.

Python — простой и универсальный инструмент для решения любых аналитических задач.

1. Автоматизируйте свою рутинную работу с помощью Python
2. Обрабатывайте большие объемы информации без администрирования и баз данных
3. Освойте ключевой инструмент в мире аналитики и машинного обучения​

Спойлер: Возможности после обучения

1. Больше автономности

Перестанете зависеть от разработчиков в работе с данными и научитесь понимать программистов.​

2. Автоматизация рутинных задач

С Python вы почувствуете вкус к оптимизации процессов и освободите время для новых задач.​

3. Широкий доступ к данным

Умение быстро парсить сайты — бесценно. Вы начнете видеть и получать данные там, где раньше не замечали их​

4. Легкий переход в data science

Python для аналитики — отличная база и возможность начать карьеру в data science.​

5. Готовить данные для алгоритмов

Умение использовать готовые решения для придания смысла сырой информации.​

6. Поиск новых инсайтов

Нахождение новых взаимосвязей в данных и их интерпретация для улучшения показателей бизнеса.​

Спойлер: Достигнутые результаты и ключевые навыки после обучения

Достигнутые результаты

1. Работа с реальными дата-сетами
2. Работа с логами и рекомендательными системами
3. Получение минимального портфолио для старта в профессии​

Ключевые навыки

1. Работа с сырыми данными и их подготовка для анализа
2. Работа с аналитическими библиотеками numpy, scipy и pandas
3. Визуализация данных с помощью библиотек seaborn, plotly, matplotlib
4. Статистический анализ данных
5. Применение математических моделей
6. Выбор и создание фич
7. Применение основных алгоритмов для обработки данных
8. Парсинг данных с сайтов и внешних источников
9. Автоматизация процессов получения данных для отчетов​

Спойлер: Содержание Модуль 1 - Основы Python для работы с данными

Вы научитесь пользоваться базовыми инструментами Python. Для студентов без опыта в программировании модуль предполагает интенсивную самостоятельную работу. По ходу занятия преподаватель даст много полезных дополнительных библиотек и методов, которые ускорят работу с кодом, оставив больше времени на аналитические задачи.

1. Вводные видео-уроки по установке, синтаксису и функциям Python
2. Основы Python и Git
3. Базовые типы данных и циклы
4. Функции и классы
5. Продвинутые типы данных: массивы, множества, словари
​

Навыки, которые вы получите

1. Научитесь работать в Jupyter-ноутбуке
2. Освоите чтение файлов и запись данных в файлы
3. Сможете делать первичную проверку данных на корректность и обработку ошибок
4. Научитесь работать с датами с библиотекой DateTime
5. Освоите работу с JSON-форматом
6. Научитесь импортировать данные в Excel
7. Познакомитесь с библиотекой DateTime​

Спойлер: Содержание Модуль 2 - Знакомство с основными библиотеками для анализа данных

Вы научитесь работать с главными аналитическими библиотеками, а визуализации помогут быстро находить зависимости и корреляции. Одно из больших преимуществ языка Python — это большое и сильное сообщество, которое ежедневно пополняет язык простыми готовыми решениями.

1. numpy и scipy
2. pandas
3. Визуализация данных: seaborn, plotly, matplotlib
4. Получение данных с внешних сайтов и API
5. Data mining и парсинг​

Навыки, которые вы получите

1. Сможете подготовить визуальные отчёты
2. Освоите эксплоративный анализ данных
3. Научитесь работать с матрицами и векторами в Python
4. Научитесь работать с pandas в таблицах
5. Освоите работу с элементами массива разных размерностей в numpy
6. Автоматизация получения данных из внешних источников
7. Автоматизация парсинга с сайтов​

Спойлер: Содержание Модуль 3 - Статистика в Python

В этом модуле вы познакомитесь со статистикой: именно она помогает закопаться глубже в данные, чтобы найти интересные связи и эффективно генерировать гипотезы. Вас ждут не только среднее, медиана и квартили, но и одномерный и многомерный анализ, коллинеарность. Вы научитесь рассчитывать необходимую выборку и доверительный интервал для стат. значимости теста и проектировать дизайн A/B-тестов.

1. Основы описательной статистики, виды распределений в Python
2. Центральная предельная теорема и статистический анализ данных в Python
3. Основные статистические тесты и проверка гипотез
4. Кейс-стади. Статистические показатели в Python​

Навыки, которые вы получите

1. Поймёте основы описательной статистики
2. Научитесь проводить основные статистические тесты (z-test, f-test, chi-2 test)
3. Освоите проектирование экспериментов
4. Научитесь проводить анализ A/B-тестов
5. Научитесь интерпретировать исходные данные для нахождения зависимостей
6. Применение математических моделей​

Спойлер: Содержание Модуль 4 - Feature engineering и предобработка данных

Вы изучите инструменты выбора и оценки фичей, научитесь оптимизировать их количество. Новые знания помогут плотнее общаться с разработкой в продукте и быстро вычленять ошибки в их логике. Также вы приобщитесь к главной библиотеке data scientists — sklearn для feature selection.

1. Проверка и очистка данных с помощью pandas и numpy
2. Проведение анализа и рекурсивного feature selection и на базе моделей
3. Методы оценки значимости и отбора признаков и их использование
4. «Проклятие размерности», основные алгоритмы и принципы их работы
5. Использование алгоритмов sklearn​

Навыки, которые вы получите

1. Освоите описание основных проблем данных
2. Научитесь проверке данных на полноту, целостность, валидность, наличие шумов, ошибок и пропусков
3. Сможете очистить данные с помощью numpy и pandas
4. Разберётесь с сокращением размерности данных алгоритмами PCA, LDA, NMF с помощью sklearn
5. Научитесь выбору и оценке фич​

Спойлер: Содержание Модуль 5 - Лабораторные работы

Кроме домашних заданий, в которых вы отрабатываете отдельные навыки, в курсе будет две проверочные точки. Они помогут вам оценить свои силы в комплексных задачах.

1. С помощью статистики изучите данные небольшого датасета на 200+ автомобилей по 26 параметрам, с помощью визуализаций выведете закономерности и протестируете несколько статистических гипотез.
2. Вместе с преподавателем подготовите датасет на 1500 строк к анализу, оцените и выберете из 80 признаков нужные и спрогнозируете стоимостную категорию дома.​

Спойлер: Содержание Модуль 6 - Диплом

В рамках дипломного проекта вы будете работать с датасетом на медицинскую тематику. Вы не только самостоятельно подготовите данные для анализа в Python, но и напишете алгоритм, который предсказывает вероятность болезни у пациента по разным признакам.

Дипломная работа выполняется самостоятельно под руководством экспертов курса и позволяет закрепить весь спектр знаний и навыков, полученных на программе.

Продажник