ДОСТУПНО [Karpov.Courses] Инженер данных [Ермаков, Сафина, Пилипенко, Соколов, Волынский, Бунин, Савченко]

Автор: [Karpov.Courses] [Ермаков, Сафина, Пилипенко, Соколов, Волынский, Бунин, Савченко]
Название: Инженер данных

ПРОГРАММА КУРСА

1. РЕЛЯЦИОННЫЕ И MPP СУБД
Начнём погружение в инженерию данных со знакомства с реляционными и MPP базами данных. Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше традиционных. Научимся готовить PostgreSQL и MPP базы данных на примере Greenplum.

2. АВТОМАТИЗАЦИЯ ETL-ПРОЦЕССОВ
ETL — ключевой процесс в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его основные компоненты и научимся с его помощью автоматизировать ETL-пайплайны.

3. BIG DATA
Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обработке данных, методах и средствах мониторинга и профилирования заданий Spark.

4. ПРОЕКТИРОВАНИЕ DWH
Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH.

5. ОБЛАЧНОЕ ХРАНИЛИЩЕ
Рассмотрим облачные решения и инструменты для построения DWH и Data Lake. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и настройки JupyterHub и Spark в Kubernetes.

6. ВИЗУАЛИЗАЦИЯ ДАННЫХ
Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и построим с его помощью интерактивный дашборд для мониторинга DWH платформы.

7. BIG ML
Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.

8. УПРАВЛЕНИЕ МОДЕЛЯМИ
В работе инженеры часто сталкиваются с подготовкой данных для обучения ML-моделей. Рассмотрим инструменты для построения ML-пайплайнов, версионирования датасетов, организации учёта и трекинга моделей.

9. УПРАВЛЕНИЕ ДАННЫМИ
На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля качества данных и отслеживания их происхождения.
Продажник
karpov.courses/dataengineer

5 частей - за каждую платим отдельно

Часть 1 -цена- 800 руб
Часть 2 -цена- 700 руб
Часть 3 - в закупке - наличии узнавать в комментариях темы
Часть 4 - в закупке - наличии узнавать в комментариях темы
Часть 5 - в закупке - наличии узнавать в комментариях темы

Часть 1+2+3+4+5 - 2200 руб - выдается по мере выкупа - возможна предоплата



ОПЛАТИТЬ >>>>>>>>