Курс Data Science и нейронные сети для новичков [2020] [Дмитрий Романов] [Университет Искусственного Интеллекта]

Складчина: Курс Data Science и нейронные сети для новичков [2020] [Дмитрий Романов] [Университет Искусственного Интеллекта]

КУРС «DATA SCIENCE И НЕЙРОННЫЕ СЕТИ ДЛЯ НОВИЧКОВ»


Какие нейронные сети вы напишете:

1. Распознавание рукописных цифр
2. Распознавание марок машин
3. Классификация писателей
4. Классификация обращений в органы гос.власти по москве
5. Предсказание, выйдет ли рассказ в финал литературного конкурса
6. Определение стоимости машины по объявлению на юле
7. Определение зарплаты человека по резюме на hh.ru
8. Определение стоимости квартиры
9. Определение рейтинга статьи на habr.ru по тексту
10. Предсказание акций лукойл
11. Распознавание стилей музыки
12. Распознавание диктора по голосу
13. Определение мошеннических операций по картам
14. Генерация рукописных цифр
15. Генерация изображений неба и самолётов
16. Сегментация изображений с регистратора для автопилотов автомобилей
17. Сегментация самолётов
18. Интеллектуальный чат-бот
19. Распределение грузов по фурам
20. Бот для прохождения лабиринта
21. Автоматический подбор архитектуры нейронной сети
22. Кластеризация резюме на hh.ru
23. Кластеризация продаж интернет-магазина косметики и умный upsale
24. Обучение нейронной сети игре в пинг-понг с помощью обучения с подкреплением

Спойлер: Содержание

1. 5 занятий по Python

1.1 Синтаксис Python
Описание занятия:
Изучение основ Python с полного нуля, разбор среды программирования и простейших функций. Базовые конструкции Python, переменные, типы переменных, использование листов и словарей, вывод на экран, использование циклов и условий

1.2 Numpy
Описание занятия:
Numpy массивы - специальная библиотека, которая позволяет использовать массивы с продвинутыми математическими операциями. Numpy массивы - самые часто распространённые в Data science и используются во всех основных библиотеках нейронных сетей и машинного обучения. На занятии вы подробно узнаете создание и обработку Numpy массивов, индексацию, сортировку и более сложные операции с массивами

1.3 Pandas
Описание занятия:
Разбор структур pd.Series и pd.DataFrame: базовая функциональность, чтение данных из файлов разных типов, подвыборки, индексация, типы индексов, мультииндексация, конкатенация, Join нескольких таблиц, сводные таблицы.
Также мы разберем группировку через GroupBy, встроенные статистические и оконные функции, принципы работы с текстовыми данными

1.4 Matplotlib и Seaborn
Описание занятия:
В этом занятии мы разберем такие возможности Matplotlib и Seaborn, как: отображение одномерных и двумерных данных, свойства графика (название осей, масштаб, масштабирование осей, варианты отрисовки, цветовая гамма), оси (общие оси, масштабирование, полярные координаты), отрисовка категориальных данных, диаграммы, гистограммы, контурные графики, heatmap, отрисовка изображений, шкалы, афинные преобразования изображений, визуализация распределений и др.

1.5 Функции и модули
Описание занятия:
Функции: объявление, виды параметров, возвращаемое значение, сигнатура, область видимости, передача аргументов, аргументы по умолчанию, lambda-функции
Модули: пакеты, классы (кнструирование, атрибуты, методы, приватность, магические методы, наследование, абстрактный класс, множественное наследование)
​

2. 4 занятия по математике

2.1 Матрицы и функции
Описание занятия:
Матрицы: одномерные векторы и двумерные матрицы, операции над одномерными векторами, операции над матрицами, транспонирование матриц, обратные матрицы, циклы по матрицам
Функции и поверхности: одномерные функции, многомерные функции и поверхности, локальные и глобальные минимумы и максимумы, производные, интерполяция и экстраполяция функций

2.2 Множества, бинарная логика, комбинаторика
Описание занятия:
Множества и операции над множествами: объединение, пересечение, исключение. Бинарная логика: переменные вида 0/1, операции над бинарными переменными. Основы комбинаторики

2.3 Теория вероятностей и статистика
Описание занятия:

• Случайные величины
• Вероятности событий
• Распределения случайных величин
• Квантили и персентили
• Визуализация случаных распределений

2.4 Обработка сигналов
Описание занятия:

• Дискретизация и квантирование
• Спектр, преобразование Фурье
• Частотные фильтры

​

3. 4 занятия по Data science

3.1 Парсинг данных
Описание занятия:
Принципы разбора сложных данных из реальных баз из excel и других источников. Парсинг числовых данных из текстов, категориальных данных (например, профессии из резюме)

3.2 Анализ данных
Описание занятия:
Поиск закономерностей в данных, визуализация закономерностей, поиск категорий и кластеров в данных. Различные способы визуализации многомерных данных, последовательностей и временных рядов

3.3 Алгоритмы кластеризации данных
Описание занятия:
Изучение базовых алгоритмов кластеризации. Кластеризация текстовых данных при помощи K-Means. Алгоритмы спектральной и иерархической кластеризации на обучающих примерах
Задание: Кластеризация рукописных цифр K-Means алгоритмом

3.4 Понижение размерности данных
Описание занятия:
Специальные методы понижения размерности, метод главных компонент (PCA) и алгоритм t-SNE. Алгоритмы используются для подавления шумов, визуализации данных и сжатия данных
​

4. 3 занятия по машинному обучению

4.1 Линейные модели, задачи регрессии
Описание занятия:

• Линейная регрессия, метод наименьших квадратов;
• Задача регрессии и нормализация признаков;
• Построение модели для DataSet Energy Star Score, анализ качества модели.

Задание: определение цены дома (задача регрессии) Boston house prices dataset

4.2 Метод опорных векторов (SVM), предсказание вероятности принадлежности к классу
Описание занятия:
Наглядная демонстрация модели на примере DataSet Iris;
Определение вероятности принадлежности классу на примере DataSet Titani.

Задание: предсказание вероятности события заберут или нет животное из питомника DataSet PetFinder

4.3 Решающие деревья, случайный лес, градиентный бустинг
Описание занятия:
Алгоритмы построения решающих деревьев ID3 и С4.5;
Случайный лес в задачах регрессии и классификации;
Градиентный бустинг;
Построение моделей на основе решающих деревьев на примере DataSet Titanic.

Задание: построение классических моделей машинного обучения Boston house prices dataset, DataSet PetFinder, сравнение их качества
​

5. 2 занятия по генетическим алгоритмам

5.1 Введение в генетические алгоритмы
Описание занятия:
Генетические алгоритмы, это моделирование принципов эволюции - естественный отбор, скрещивание и мутации. Они позволяют нестандартным образом решать многие задачи искусственного интеллекта и составляют мощную конкуренцию нейронным сетям. Будем разбирать генетические алгоритмы на примере прохождения лабиринта

Задание: Обучение бота прохождению лабиринта​

5.2 Генетические алгоритмы для обучения нейронных сетей
Описание занятия:
Огромное преимущество генетических алгоритмов - с их помощью можно перебрать автоматические сотни и тысячи различных архитектур нейронных сетей выбрать лучшую. Генетический алгоритм сможет выбрать за вас, сколько должно быть слоёв в нейронной сети, сколько нейронов в слоях, какая функция активации - это будет совсем не то, что выбрали бы вы и это будет точно эффективнее

Задание: Автоматический подбор архитектуры нейронной сети
​

6. 16 занятий по нейронным сетям

6.1 Введение в нейронные сети
Описание занятия:
Введение в программу курса. Знакомство с нейронными сетями и методикой их написания на примере базы рукописных цифр. Работа с математической моделью. Прописание архитектуры, слоев. Пояснительные комментарии: что из себя представляют разные параметры и характеристики слоев. Рассмотрение элементов, входящих в нейронную сеть, обучение сети, проверка на работоспособность. Цель занятия - показать, что написание нейронных сетей помимо разработки математической модели включает в себя обработку базы данных, с помощью которых и будет происходить обучение.​

6.2 Полносвязные сети, обучающая и тестовая выборки
Описание занятия:
Знакомство с ключевыми понятиями теории обучения нейронных сетей. Примеры активационных функций, их назначение и особенности. Построение нейронных сетей с простыми архитектурами. Рассмотрение понятия нейрон смещения (bias), его назначение. Рассмотрение различных способов формирования обучающей и проверочной выборок с использованием набора рукописных цифр MNIST. Создание и обучение нейронной сети для распознавания рукописных цифр, проверка и визуализация качества обучения сети. Рассмотрение вопроса переобучения нейронной сети и способов борьбы с переобучением. Рассмотрение дополнительных возможностей по увеличению качества распознавания. Создание нейронной сети для решения реальной задачи: предсказание цен машин с сайта YOULA.RU.​

6.3 Свёрточные нейронные сети
Описание занятия:
Преимущества свёрточных нейронных сетей на фоне остальных архитектур по отношению к распознаванию объектов. Цель занятия - показать, что может включать предварительная обработка выборки, как привести ее к нужной форме для того, чтоб на ней проверить свёрточную нейронную сеть. Изучение архитектуры свёрточных нейронных сетей: какие элементы участвуют, что используется, зачем используется, как проверяются данные на этих архитектурах и сравнение результатов. Работа со стандартными наборами - базой рукописных цифр и базой Cifar10.​

6.4 Обработка текстов с помощью нейросетей
Описание занятия:
Рассмотрение основных задач, связанных с обработкой текстов, которые способны решать нейронные сети. Знакомство с основными архитектурами нейронных сетей, применяемых для обработки текстовых данных. Рассмотрение способов векторизации текста для преобразования текстовых данных в числовые (разряженные и плотные вектора, векторные представления слов). Демонстрация предварительно обученных векторных представлений слов: CloVe (Global Vectors), Word2Vec, FastText. Решение практической задачи по классификации текстов на базе обращений граждан: парсинг исходной базы для создания обучающей и проверочной выборок, создание полносвзяной сети и сети с Embedding-слоем для решения поставленной задачи, сравнение результатов работы сетей. Решение практической задачи по классификации писателей: парсинг базы писателей, создание обучающей и проверочной выборок, демонстрация преобразования данных по принципу BagOfWords, создание полносвязной сети и сети с Embedding-слоем для классификации писателей, распознавание проверочной выборки.​

6.5 Рекуррентные нейронные сети и одномерные свёрточные сети для обработки текстов
Описание занятия:
Преимущества рекуррентных нейронных сетей для решение задач на нахождение последовательностей. Рассмотрение устройства рекуррентной нейронной сети: что собой представляет элемент запоминания в этой сети, каким образом выстраивается архитектура рекуррентных сетей, что необходимо знать о работе с каждым из типов и как их можно комбинировать с другими архитектурами. Работа на базе писателей. Задача занятия - классификация писателей с помощью рекуррентной сети, которая за счет запоминания последовательности между словами, определит стиль каждого из писателей, также решение задачи классификации писателей с помощью одномерной сверточной сети.​

6.6 Нейронные сети для решения задачи регрессии
Описание занятия:
Рассмотрение термина регрессия в области нейронных сетей. Выделение различий при решении задач регрессии и рассматриваемых ранее задач классификации. Решение практической задачи по определению стоимости квартир с использование набора данных Boston Housing. Решение аналогичной задачи по определению стоимости квартир на собственной информационной базе: парсинг базы, преобразование имеющихся данных (как числовых, так и текстовых) к требуемому числовому представлению, формирование обучающей выборки, нормирование данных. Построение нейронной сети для решения поставленной задачи и оценка полученных результатов. Решение практической задачи по оценке зарплаты по базе с HeadHunter: парсинг базы, создание обучающей выборки, создание различных архитектур нейронных сетей для решения задачи и сравнение результатов их работы.​

6.7 Полносвязные и рекуррентные нейронные сети для прогнозирования временных рядов
Описание занятия:
Временные ряды - это отдельная глава в изучении нейронной сети. С одной стороны, задача напоминает регрессию, так как необходимо предугадать число. Например, необходимо предугадать цену на бензин, трафик на сайте, какую-то переменную во времени. С другой стороны, необходимо учитывать, что происходило до этого. Рассмотрение какие из ранее изученных архитектур оптимальнее подходят для баз с временными рядами. Предсказывание значений временных рядов. Работа с базами прогнозирования акций "Лукойла" и цен на бензин.

6.8 Прямые и свёрточные нейронные сети для обработки аудио сигналов
Описание занятия:
Рассмотрение специфики обработки аудио с помощью нейронных сетей. Знакомство с популярными библиотеками по обработке аудио. Демонстрация работы с библиотекой librosa для параметризации аудио, извлечение признаков из аудиосигнала: пересечение с нулем, спектральный центроид, спектральный спад частоты, мел-частотные спектральные коэффициенты, частота цветности. Решение практической задачи по классификации жанров музыки.: формирование обучающей выборки, создание нейронной сети для решения поставленной задачи, проверка распознавания жанров музыки на основе различных признаков.

6.9 Автокодировщики
Описание занятия:
После рассмотрения типов слоев и базовых архитектур возможен переход к более высокоуровневым архитектурам, которые выполняют конкретную функцию - к автокодировщикам. Знакомство с автокодировщиками. Рассмотрение особенностей и функций автокодировщиков. Пример: очищение от шума изображений рукописных цифр. Решение задачи на выявление мошеннических операций.

6.10 Вариационные автокодировщики, генеративные модели на базе автокодировщиков
Описание занятия:
Рассмотрение различий вариационного и классического автокодировщиков. Задачи, решаемые на вариационном автокодировщике. Описание применения для решения задач вариационными автокодировщиками. Рассмотрение возможности задавать параметры и генерировать данные с заданными условиями.

6.11 Генеративные состязательные сети
Описание занятия:
Рассмотрение вопроса генерации различного контента с использованием нейронных сетей (GAN). Выделений основных сложностей и способов их преодоления при решении задач генерации. Знакомство с принципиально новым подходом в построении архитектур нейронных сетей: создание двух "конкурирующих" между собой частей одной сети (генератор и дискриминатор). Описание процесса обучения каждой из частей и формирования обучающих выборок. Рассмотрение генеративных состязательных сетей с условием (сGAN). Решение практической задачи по генерации рукописных цифр на основе набора MNIST. Создание различных архитектур дискриминатора и генератора и сравнение качества их работы. Решение аналогичной задачи для генерации изображение на основе набора CIFAR10. Создание генератора с условием для генерации рукописных цифр.

6.12 Сегментация изображений
Описание занятия:
Рассмотрение задачи сегментации изображений с использованием нейронных сетей. Знакомство с основными архитектурами, применяемыми для решения задачи сегментации: U-Net, SegNet, Linknet, PSPNet. Выявление особенностей каждой из архитектур, их положительных и отрицательных сторон. Рассмотрение вопроса по оптимизации процесса сегментации изображения: уменьшение выборки, аугментация изображения, разбиение изображения. Решение практической задачи по разметке фотографий с регистратора для создания автопилота автомобилей: создание обучающей и проверочной выборок, создание различных архитектур нейронной сети для решения поставленной задачи, сравнение результатов работы различных архитектур, проверка результатов работы на упрощенной выборке (3 класса объектов вместо 12).

6.13 Генерация текста
Описание занятия:
Рассмотрение вопроса генерации текста с использованием нейронных сетей: области применения, реальные примеры. Выделение основных задач и проблем, возникающих при решении задачи генерации текста. Знакомство с популярными решениями в области генерации текста: Seq2Sqe (Sequence-to-Sequence), Word2Vec (Word-to-Vector), Doc2Vec (Document-to-Vector). Подробное рассмотрение модели Seq2Sqe. Решение практической задачи для создания чат-бота с использованием модели Seq2Seq: парсинг данных, создание выборки для обучения модели, создание архитектур энкодера и декодера (составных частей модели Seq2Seq), демонстрация работы чат-бота в режиме вопрос-ответ.

6.14 Object Detection (распознавание и идентификация местоположения объекта на изображении)
Описание занятия:
Рассмотрение задачи обнаружения объектов с использованием нейронных сетей. Сравнение двух подходов к задаче обнаружения объектов: ObjectDetection и сегментация. Знакомство с алгоритмом Selective Search и первыми моделями, решающими задачи обнаружения объектов (RCNN, SPP). Сравнение производительности различных подходов. Описание идеи использования анкоров вместо Selective Search. Рассмотрение двух современных архитектур для решения задач обнаружения объектов YOLOv3 и RetinaNet: создание моделей, функции ошибок, обучение моделей на базе самолетов и демонстрации процесса обучения. Распознавание изображения с использованием обученных моделей.

6.15 Обучение с подкреплением
Описание занятия:
Сравнение основных подходов к обучению нейронных сетей: с учителем, без учителя, с подкреплением. Описание основной идеи процесса обучения сети с подкреплением. Постановка основных задач, решаемых в процессе обучения с подкреплением. Рассмотрение основных алгоритмов, используемых в этой области: Police Gradient, Q-learning (выделение их положительных и отрицательных сторон). Решение практической задачи по обучению бота игре в Ping-Pong на игровой платформе "gym" и использованием алгоритма PoliceGradient. Демонстрация игры обученного бота. Рассмотрение ограничений и проблем, возникающих в процессе обучения. Рассмотрение способов ускорения процесса обучения.​

7. 2 занятия по интеграции в production

7.1 Интеграция нейронной сети в Production. Часть 1
Описание занятия:
Интеграция нейронной сети в Production - это финальная точка, куда нейронная сеть приходит: приложение, веб-сервис и т.д. Рассмотрение различных стратегий, чтоб понять, где можно применить нейронные сети, и концентрация на прогонке нейронной сети в веб-сервисе: что нужно для создания запроса, что нужно для связывания с базами данных, как упаковывать, какая глобальная структура. Используемая база - база рукописных цифр. Создание веб-сервиса. Когда рисуешь рукописную цифру на странице, она делает предсказание. Другой гигант, зарекомендовавший себя, и который будет также рассмотрен на занятии - Apache Spark.

7.2 Интеграция нейронной сети в Production. Часть 2
Описание занятия:
Занятие посвящено тем инструментам, которые нужны для конечного вывода в Production.Тема занятия - организация процесса. Рассмотрение контейнеризации: что такое контейнеры, какие бывают контейнеры, что с контейнерами делать, менеджеры, управляющие контейнерами, системы оркестрации, а также, где можно размещать модель. Рассмотрение перевода моделей из Python в С++.​

Продажник