Открыто

PRAR: Практическая архитектура данных для крупных платформ [Школа больших данных] [Королев Михаил]

Тема в разделе "Курсы по программированию", создана пользователем Smely, 2 июн 2024.

Цена: 72000р.-94%
Взнос: 4142р.

Основной список: 19 участников

  1. 2 июн 2024
    #1
    Smely
    Smely ЧКЧлен клуба

    Складчина: PRAR: Практическая архитектура данных для крупных платформ [Школа больших данных] [Королев Михаил]

    2024-06-06_220129.png

    О продукте:
    Архитектура данных (Data Architecture) — это совокупность моделей и стандартов для всех систем данных, а также правил взаимодействия между ними. Архитектура данных определяет данные вместе со схемами, интеграцией, преобразованиями, хранением и рабочими процессами, необходимыми для решения бизнес-задач. Надежная архитектура данных полностью отвечает требованиям компании и соответствует ее бизнес-стратегиями. Она определяет, как данные появляются, собираются, интегрируются, улучшаются, хранятся и доставляются пользователям для принятия бизнес-решений и выполнения операционных задач.
    Архитектура данных является одним из доменов архитектуры предприятия и необходима для реализации data-driven управления. Наличие продуманной, сбалансированной и эффективной для конкретно вашей компании архитектуры данных необходимо для проектов цифровизации и внедрения технологий Big Data. Как спроектировать и реализовать такую надежную дата-архитектуру, используя лучшие практики российских и зарубежных коллег, вы узнаете на нашем курсе PRAR «Практическая архитектура данных».

    Аудитория:
    Практический курс по архитектуре данных предназначен для ИТ-архитекторов, участников Е2Е команд, разработчиков фронтальных систем и микросервисов, дата-инженеров и SQL-программистов, а также корпоративных, системных и бизнес-архитекторов, архитекторов решений и данных, владельцев продуктов, менеджеров проектов и Q&A-инженеров.

    О курсе:
    Цель курса: формирование высокоэффективных производственных процессов через практическое применение кросс-доменных концепций на современном технологическом стеке, повышение качества и увеличение производственного потенциала, как решающих факторов интенсивного развития и удовлетворения потребностей бизнеса в целом.

    Программа курса:
    1. Обзор классической и современной корпоративной архитектуры, исторические предпосылки развития инструментов разработки
    2. Хранилища. Обзор, проблемы, перспективы
    3. Введение в архитектуру данных
    4. Экспериментальная архитектура данных
    5. Проектирование, худшие практики
    1. Обзор классической и современной корпоративной архитектуры, исторические предпосылки развития инструментов разработки
    • Теория – основные проблемы вертикального масштабирования систем (EJB, Ц(К)ХД, λ)
    • Теория – развитие подходов и тенденций разработки (modern, rapid, reactive)
    2. Хранилища. Обзор, проблемы, перспективы
    РСУБД. Движки, транзакции, уровни изоляций, тяжелые корректировки, карты индексов, DDLDML, реверс данных большого числа источников
    Теория – обзор по проблемам и оптимизации РСУБД, реверс и интеграция данных, работа с ORM и без
    NoSQL. Современные решения Scylla, Cassandra, Aerospike, Snowflake
    Теория – обзор по проблемам и оптимизации NoSQL, основные принципы проектирования, избыточность, рэнджи, надгробия, ограничения open-source решений
    Поисковые системы. ES, Solr, Lucene.
    Теория – обзор по проблемам и оптимизации, проектирование коллекций различных типов, словари, аналайзеры, токенайзеры
    Хранилища неструктурированных данных HDFS, S3
    Теория – основные проблемы и стратегии использования
    Интеграция данных на системном уровне
    Теория – хэндлеры импортаэкспорта, вторичные индексы, дампы и координированные репликаты, первичные заливки, валидация, датафлоу
    Интеграция данных на прикладном уровне
    Теория – классические ETL-инструменты и кодогенерация (DataStage, SAS DI, Talend, Informatica), потоковая обработка на Spark (Streaming)Kafka

    3. Введение в архитектуру данных
    Трехуровневая архитектура данных
    • Проектирование от БД
    • Проектирование от UI
    • Проектирование от API
    • Low-codeZero-code и проектирование в ширину
    • Рефакторинг моделей данных
    • Интеграционное тестирование данных
    Платформенная архитектура данных
    • Введение в основные модули
    • Базовые стратегии развития платформ обработки данных
    • Рефакторинг платформенных компонентов
    МДМ системы
    • Классические МДМ системы (прямыеобратные потоки, смежные системы, событияНСИ, корректировки)
    • Интеграция МДМ системы (Очереди, БД, пакетные интерфейсы обработки)
    • Миграция МДМ систем (разбор проблем и задач)
    МДМ, как основа платформы данных
    • Комбинированные типы хранилищ и базовые интерфейсы интеграции
    • Технологии кодогенерации
    • Платформенные, базовые и прикладные сервисы
    • Актуальные проблемы и задачи
    Практика – анализ схем БД, разбор архитектуры данных в разрезе планов запросов и гибкости расширения моделей

    4. Экспериментальная архитектура данных
    • Всё — граф. Кросс-доменная архитектура данных
    • События и деконцептуализация времени
    • Дискретная геометрия и реентерабельность данных кода
    5. Проектирование, худшие практики
    • БД (Очереди, вложенность, триггеры, реорги, кубы)
    • Спагетти-сервисы (топологии, парсинг событий, параметризация)
    • Моки и покрытие тестами (производственные конвейеры, CICD)
    • Диффузия моделей и кода
    • Масштабирование производства (экосистема, платформа-сервисы, ядро-приклад)
    Практика – Заполнение карт лабораторного анализа для выявления и регистрации значений показателей качества текущей проектной деятельности и архитектурных решений, для проведения ретроспективного анализа с целью сравнения планового достигнутого результата реализации и актуализации методических рекомендаций по дорожной карте проекта. (грумминг проектов участников курса).

    Чему Вы научитесь:
    приобретете базовые знания, необходимые для реструктуризации и рефакторинга кодовой базы, хранилищ, моделей и интерфейсов интеграции данных;
    сможете определять пути, средства и методы оздоровления и контроля в условиях нестабильного функционирования отставания крупных систем;
    научитесь выбирать и использовать инструменты, способствующие ускорению бизнеса и внедрению инструментов повышения качества продуктов, технологий, производства, логистики и персонала.

    Кто проводит курс: Королев Михаил
    МГУ им. М.В. Ломоносова (Москва, 1992)

    Цена: 72000р.
    Скрытая ссылка
     
    Последнее редактирование модератором: 6 июн 2024
    1 человеку нравится это.
  2. Последние события

    1. Sdart
      Sdart участвует.
      16 сен 2024
    2. serborg
      serborg участвует.
      16 июл 2024
    3. zamit
      zamit не участвует.
      14 июл 2024
    4. akmonk
      akmonk участвует.
      20 июн 2024