Главная > Курсы > Обработка и анализ данных

Инженер данных с использованием ETL процессов а Apache Airflow/Data Engineer

Сегодня мы все чаще слышим, что выигрывает тот, кто владеет данными. Однако ими нельзя пользоваться просто так, их надо обрабатывать. Для этого существуют процессы ETL: Extract-Transform-Load, то есть извлечение, преобразование и загрузка. Если данных много, то и ETL-процессов становится больше, выполнять их вручную невозможно. Для автоматизации процессов используется Apache Airflow — открытая платформа для создания, выполнения, отслеживания и управления операциями по обработке данных. Важно учитывать, что Airflow подходит не только для ETL-процессов, но и для автоматизации других задач.

Использование Apache дает разработчикам инструменты контроля и мониторинга сложных рабочих процессов, которые осуществляются в локальных и облачных средах. Apache Airflow используют в работе инженеры данных, аналитики, специалисты по Data Science, разработчики, менеджеры проектов.

На занятиях вы познакомитесь с популярным инструментом оркестрации Apache Airflow, научитесь разворачивать инстанс Airflow, управлять подключениями к источникам, пользователями, переменными и конечно же создавать DAG’и. Научитесь использовать основные операторы и хуки инструмента и создавать собственные. На занятиях вы на практике приобретете навыки использования данного инструмента оркестрации потоков данных.

Для кого эта программа

Программа в первую очередь адресована Data-инженерам, работающим с SQL и желающим систематизировать свои знания в Airflow, научиться выстраивать зависимости между задачами и создавать полноценные конвейеры обработки данных.

После обучения на программе вы будете уметь:

• устанавливать и настраивать Apache Airflow;
• управлять пользователями;
• настраивать подключения к базам данных;
• хранить пароли и другие переменные;
• использовать подключения в скриптах обработки данных;
• реализовывать задачи обработки данных и выстраивать зависимости между ними;
• использовать сенсоры, операторы, хуки, branch-операторы;
• реализовывать собственные операторы и хуки.

Обучение на программе предполагает выполнение большого количества практических заданий. Ваш наставник поделится своим опытом, расскажет о реализованных кейсах, предупредит о возможных сложностях, которые в перспективе могут возникнуть в работе.

В комплексную программу входят следующие курсы:

• «Анализ данных на языке SQL»
• «Программирование на Python. Уровень 1. Базовый курс»
• «Построение ETL процессов на Apache Airflow для инженеров данных»

Инженер данных – востребованная профессия, одна из основных и самых высоко оплачиваемых в IT. Высококлассные специалисты могут получать до 500 000 рублей в месяц. Знание Apache Airflow даст вам дополнительные инструменты для ускорения и повышения эффективности работы, а значит, позволит повысить квалификацию. Как специалист вы будете востребованы в крупнейших data-driven компаниях, таких как Яндекс, ВК, Сбербанк, ВТБ, ФНС, Северсталь, X5 Retail Group, Ozon, Wildberries и других.

Учитесь в «Специалисте» и расширяйте свои профессиональные возможности!

Стоимость обучения (рублей)*

Актуальные форматы обучения уточняйте у менеджера

Курс может быть заказан согласно ФЗ-44, ФЗ-223 (закупка/аукцион/запрос котировок/конкурсные процедуры)

Документы об окончании

В зависимости от программы обучения выдаются следующие документы:

По окончании каждого отдельного курса, входящего в Программу повышения квалификации, в вашем личном кабинете формируются электронные сертификаты об обучении по каждому отдельному курсу. По окончании обучения по Программе повышения квалификации вы получаете Удостоверение о повышении квалификации по этой программе. Если вы проходили курсы, входящие в Программу повышения квалификации, по отдельности, то вы получите Удостоверения за каждый пройденный курс.

Обязательно уточняйте перед заключением договора, какой документ Вам будет выдан после окончания обучения!

Все документы Центра

Главная > Курсы > Обработка и анализ данных