Описание курса
ETL-пайплайны — это основа современной аналитики и машинного обучения. Но когда количество источников данных растёт, а процессы становятся сложнее, управлять ими вручную становится невозможно. Apache Airflow — это индустриальный стандарт для автоматизации и координации таких процессов. Он помогает строить надёжные, масштабируемые и поддерживаемые пайплайны, которые работают по расписанию или в ответ на события.
Курс построен на принципе «обучение через проект». Вы пройдёте все этапы создания пайплайна: от установки Airflow до построения полноценного ETL-процесса с вызовом ML-модели. Каждый модуль — это шаг к готовому решению, которое останется в вашем портфолио. На протяжении курса вы будете работать над единым сквозным проектом, постепенно усложняя его и добавляя новые компоненты.
Основной упор сделан на практику: вы не просто изучаете теорию, а сразу применяете знания в лабораторных работах. В результате вы получите рабочий ETL-пайплайн для инференса модели, который ляжет в основу вашего портфолио и станет типовым решением для задач оркестрации данных.
Курс подходит для корпоративного обучения:
- Команд инженеров данных, которые внедряют или оптимизируют ETL-процессы;
- Отделов разработки, которые строят пайплайны для обработки и трансформации данных;
- Проектных команд, которые интегрируют ML-модели в продуктовую среду.
Курс идеально подойдет вам, если вы:
- Начинающий дата-инженер, который хочет освоить современные инструменты оркестрации;
- Специалист по Data Science, который хочет автоматизировать свои пайплайны;
- DevOps-инженер, который строит инфраструктуру для обработки данных;
- Аналитик данных, который хочет перейти в инженерную специализацию.
Вы научитесь
- устанавливать и настраивать Apache Airflow (локально и в Docker);
- настраивать подключения к внешним сервисам (базам данных, API, облачным хранилищам);
- создавать и запускать DAG с различными типами операторов;
- запускать задачи в Docker-контейнерах;
- строить последовательные, параллельные и условные зависимости между задачами;
- передавать данные между задачами с помощью XCom и переменных;
- писать собственные операторы, хуки и сенсоры для нестандартных задач;
- оптимизировать пайплайны: управлять параллелизмом, использовать пулы, создавать динамические задачи;
- тестировать DAG и отдельные операторы;
- настраивать мониторинг и алерты;
- строить пайплайн для инференса готовой ML-модели.
Вы будете знать
- что такое ETL и зачем нужна оркестрация процессов обработки данных;
- архитектура Apache Airflow: Scheduler, Executor, Worker, Webserver;
- роль Airflow в MLOps-пайплайнах;
- назначение и структура DAG: задачи, зависимости, планирование;
- понятия backfill, catchup, schedule interval и процесс исполнения DAG;
- виды операторов: PythonOperator, BashOperator, HttpOperator, SQLOperator;
- отличие сенсоров от операторов и назначение хуков;
- механизм XCom для обмена данными между задачами и его ограничения;
- принципы работы DockerOperator и сценарии контейнеризации задач;
- способы управления параллелизмом.
Специалисты, обладающие этими знаниями и навыками, в настоящее время крайне востребованы.
Обучение по мировым стандартам позволяет нашим выпускникам работать в ведущих компаниях России и других стран. Они делают успешную карьеру и пользуются уважением работодателей.
Предварительная подготовка
Требуемая подготовка:
Успешное окончание курса PostgreSQL: Уровень 1. Основы SQL, или эквивалентная подготовка.
Успешное окончание курса Программирование на Python. Уровень 1. Базовый курс, или эквивалентная подготовка.
Программа курса
Аудиторная нагрузка в классе с преподавателем 32 ак. ч. + 32 ак. ч. бесплатно*
* Для слушателей курса предусмотрено время для самостоятельной практической отработки и проработки материала в компьютерных классах Центра.
Вы можете использовать его для закрепления знаний, выполнения домашних заданий и консультаций со специалистами.
Время предоставляется бесплатно по предварительному согласованию с администратором комплекса:
- для занятий с 10:00 до 17:10: дополнительное время с 9:00 до 10:00.
- для занятий с 14:00 до 17:10: дополнительное время с 13:15 до 14:00.
- для занятий с 18:30 до 21:30: дополнительное время с 17:10 до 17:55.
По завершении обучения проводится итоговая аттестация. Она может проходить в виде теста на последнем занятии или основываться на результатах выполнения практических заданий в ходе курса.
Документы об окончании
В зависимости от программы обучения выдаются следующие документы:
Свидетельство выпускника
Cертификат международного образца
Удостоверение о повышении квалификации
* Для получения удостоверения вам необходимо предоставить копию диплома о высшем или среднем профессиональном образовании.
Сертификаты международного образца выводятся после окончания курса в личном кабинете слушателя.
