Евгений Ермаков, Валерий Соколов / Karpov.Courses - Инженер данных. Все части
НАУЧИТЕСЬ ПРАВИЛЬНО ГОТОВИТЬ ДАННЫЕ ЛЮБЫХ РАЗМЕРОВ И СЛОЖНОСТИ
Обучающие выборки для машинного обучения и красивые графики для отчётов не появляются сами собой: данные нужно собирать, хранить, валидировать и комбинировать между собой, быстро реагируя на изменения в их структуре.
ДЛЯ КОГО ЭТОТ КУРС:
ИНЖЕНЕР ДАННЫХ
Уже работаете с хранилищами данных, но хотите систематизировать знания и глубже погрузиться в актуальные технологии.
АНАЛИТИК ДАННЫХ
Постоянно взаимодействуете с базами данных, но хотите лучше разобраться в ETL-процессах и выйти на качественно новый уровень в аналитике.
BI-РАЗРАБОТЧИК
Занимаетесь развитием систем бизнес-аналитики, хотите освоить архитектуру современных хранилищ данных и научиться их проектировать.
BACKEND-РАЗРАБОТЧИК
Имеете опыт бэкенд-разработки и хотите применить его для решения задач, связанных с хранением и обработкой больших данных.
РАБОТАЙТЕ С ДАННЫМИ В ЛЮБЫХ СИСТЕМАХ
— Изучайте архитектуру хранилищ данных и подходы к их проектированию
— Сравнивайте на практике Big Data решения на базе Hadoop и реляционные MPP СУБД
— Учитесь работать с облаками и автоматизировать ETL-процессы с помощью Airflow
ПРОГРАММА КУРСА:
1. РЕЛЯЦИОННЫЕ И MPP СУБД
Начнём погружение в инженерию данных со знакомства с реляционными и MPP базами данных. Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше традиционных. Научимся готовить PostgreSQL и MPP базы данных на примере Greenplum.
2. АВТОМАТИЗАЦИЯ ETL-ПРОЦЕССОВ
ETL — ключевой процесс в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его основные компоненты и научимся с его помощью автоматизировать ETL-пайплайны.
3. BIG DATA
Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обработке данных, методах и средствах мониторинга и профилирования заданий Spark.
4. ПРОЕКТИРОВАНИЕ DWH
Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH.
5. ОБЛАЧНОЕ ХРАНИЛИЩЕ
Рассмотрим облачные решения и инструменты для построения DWH и Data Lake. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и настройки JupyterHub и Spark в Kubernetes.
6. ВИЗУАЛИЗАЦИЯ ДАННЫХ
Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и построим с его помощью интерактивный дашборд для мониторинга DWH платформы.
7. BIG ML
Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.
8. УПРАВЛЕНИЕ МОДЕЛЯМИ
В работе инженеры часто сталкиваются с подготовкой данных для обучения ML-моделей. Рассмотрим инструменты для построения ML-пайплайнов, версионирования датасетов, организации учёта и трекинга моделей.
9. УПРАВЛЕНИЕ ДАННЫМИ
На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля качества данных и отслеживания их происхождения.
Перед покупкой на Sklads
Проверьте выбранную версию «Евгений Ермаков, Валерий Соколов / Karpov.Courses - Инженер данных. Все части» и состав материала. Автор: Евгений Ермаков, Валерий Соколов. Описание и скриншоты помогут понять, подходит ли курс для вашей задачи.
Вопросы о содержимом можно уточнить у поддержки. Покупки и доступные заявки на обновление находятся в личном кабинете.
Сравнение вариантов материала «Евгений Ермаков, Валерий Соколов / Karpov.Courses - Инженер данных. Все части»
В каталоге SKLADS.NET этот материал находится в рубрике «Программирование». При выборе ориентируйтесь на состав программы и конкретный тариф, а не только на название. В карточке указан автор: Евгений Ермаков, Валерий Соколов. Период или дата выпуска: 2023.
Сведения о другой версии здесь не заданы. Для сравнения с похожим предложением проверьте программу, тариф и условия доступа.
Объём указан как 17.3 ГБ. Это поможет оценить размер загрузки и место для файлов, если выбранный вариант можно сохранить.
В характеристиках выбран доступ через Облако Mail. Уточните формат нужных файлов, если для вас важен определённый способ просмотра.
Для сопоставления в характеристиках приведена цена у автора — 92000 ₽. Стоимость выбранной версии на Sklads смотрите в блоке покупки.
Есть вопрос о курсе?
Поможем разобраться с версией и составом материала
Написать в поддержкуПомощь и отзывы
💬 Помощь перед покупкой
Хотите проверить материал?
Отправим дополнительные скриншоты, пример видео или запись содержимого курса.
💰 Нашли дешевле?
Пришлите ссылку на предложение — постараемся сделать цену ещё выгоднее.
⭐ Отзывы покупателей
Читать отзывы на сайте
Читать отзывы в Telegram
💬 Связаться с поддержкой
Написать в Telegram
admin@sklads.net