Частным лицам: +7 (495) 232-32-16
Корп. клиентам: +7 (495) 780-48-44

Интерактивные путеводители

Бизнес-аналитика

business-analytics-s

Облачные технологии Microsoft

cloud_microsoft-s

Типы обучения

Знаете ли Вы, что...

Курс 20775А: Обработка Данных с Microsoft HDInsight пользуется огромной популярностью среди специалистов, а также тех, кто только выбрал для себя такие востребованные и высокооплачиваемые профессии:

Не нашли нужный Вам курс?

Закажите его в индивидуальном формате или Напишите, и мы его сделаем!

Подписаться на рассылку


Полезные статьи
Обучающие материалы
Афиши и билеты на конференции
Подарки наших партнеров

Я принимаю условия Политики конфиденциальности и даю согласие на обработку персональных данных в соответствии с законодательством России

Спасибо! Вам на e-mail отправлено письмо со ссылкой для подтверждения

Если письмо не пришло, поищите его в папке со спамом или повторите подписку

Вы подписались на рассылку

Курс 20775А: Обработка Данных с Microsoft HDInsight




По окончании курса Вы будете уметь:
  • описывать Hadoop, MapReduce, HDInsight;
  • описывать типы кластеров HDInsight;
  • описывать создание, управление и удаление кластеров HDInsight с помощью PowerShell;
  • описывать, как разрешать доступ пользователей к объектам;
  • описывать конфигурации и архитектуру хранилища HDInsight;
  • проводить мониторинг ресурсов с Operations management suite;
  • выполнять запросы с Hive и Pig;
  • описывать использование ETL и Spark;
  • внедрять интерактивные запросы;
  • выполнять интерактивную обработку данных с помощью Apache Phoenix;
  • управлять задачами потоковой аналитики;
  • создавать приложения для обработки структурированных потоков в Spark;
  • использовать потоковые данные в Storm;
  • объяснять, как работает язык R;
  • преобразовывать и очищать наборы данных.
Специалисты, обладающие этими знаниями и навыками, в настоящее время крайне востребованы. Большинство выпускников наших курсов делают успешную карьеру и пользуются уважением работодателей.

Продолжительность курса - 40 ак. ч.

Преподаватели курса

Отзывы о Центре

Тут работают очень отзывчивые люди с желанием поделиться знаниями с другими людьми. Мне очень понравилось! Желаю Вам прогрессировать и развиваться дальше! Сейчас меня всё устраивает и я обязательно буду учиться далее

Cлушатель: Загер Давид Константинович

Удобство организации учебного процесса от момента заказа курсов до непосредственного обучения. Информационный обмен на высшем уровне. Обратная связь с кураторами и "бумажный" документооборот организованы прекрасно.

Cлушатель: Милованов Антон Михайлович

Предварительная подготовка

Требуемая подготовка: Успешное окончание курса Курс 20774А: Облачная аналитика больших данных (Big Data) при помощи машинного обучения в Azure или эквивалентная подготовка.

Требуемая подготовка: Успешное окончание курса Анализ данных на языке SQL или эквивалентная подготовка.

Требуемая подготовка: Английский язык. Уровень 2. Elementary, часть 2, или эквивалентная подготовка. Определить уровень владения языком вам поможет тест.

Рекомендуемая подготовка (необязательная): Успешное окончание курса Курс 20767А: Разработка и эксплуатация хранилищ данных на SQL Server 2016 или эквивалентная подготовка.

Получить консультацию о необходимой предварительной подготовке по курсу Вы можете у наших менеджеров: +7 (495) 232-32-16.

Наличие предварительной подготовки является залогом Вашего успешного обучения. Предварительная подготовка указывается в виде названия других курсов Центра (Обязательная предварительная подготовка). Вам следует прочитать программу указанного курса и самостоятельно оценить, есть ли у Вас знания и опыт, эквивалентные данной программе. Если Вы обладаете знаниями менее 85-90% рекомендуемого курса, то Вы обязательно должны получить предварительную подготовку. Только после этого Вы сможете качественно обучиться на выбранном курсе.

Программа курса

  Тема Ак. часов  
   
  Модуль 1. Начало работы с HDInsight
  • Большие данные
  • Hadoop
  • MapReduce
  • HDInsight

Лабораторная работа: Запросы к большим данным

  • Запросы к данным с Hive
  • Запросы к данным с Excel
1  
  Модуль 2. Развертывание кластеров HDInsight
  • Типы кластеров HDInsight
  • Управление кластерами HDInsight
  • Управление кластерами HDInsight с помощью PowerShell

Лабораторная работа: Управление кластерами HDInsight в Azure

  • Создание кластера Hadoop в HDInsight
  • Настройка HDInsight с помощью скрипта
  • Настройка HDInsight с помощью Bootstrap
  • Удаление кластера HDInsight
2  
  Модуль 3. Авторизация пользователей для доступа к ресурсам
  • Недоменные кластеры
  • Настройка кластера HDInsight, подключенного к домену
  • Управление подключенным к домену кластером HDInsight

Лабораторная работа: Авторизация пользователей для доступа к ресурсам

  • Настройка кластера HDInsight, подключенного к домену
  • Настроить политики Hive
4  
  Модуль 4. Загрузка данных в HDInsight
  • Хранилище HDInsigh
  • Средства загрузки данных
  • Производительность и надёжность

Лабораторная работа: Загрузка данных в HDInsight

  • Загрузка данных с помощью Sqoop
  • Загрузка данных с помощью AZcopy
  • Загрузка данных с помощью ADLcopy
  • Использование HDInsight для сжатия данных
3  
  Модуль 5. Поиск и устранение неисправностей в HDInsight
  • Анализ журналов
  • Журналы YARN
  • Дампы кучи (Heap)
  • Operations management suite

Лабораторная работа: Поиск и устранение неисправностей в HDInsight

  • Анализ журналов HDInsight
  • Анализ журналов YARN
  • Мониторинг ресурсов с Operations management suite
2  
  Модуль 6. Внедрение пакетных решений
  • Хранилище Apache Hive
  • Запросы с Hive и Pig
  • Подключение HDInsight

Лабораторная работа: Резервное копирование баз данных SQL Server

  • Загрузка данных в таблицу Hive
  • Запрос данных в Hive и Pig
4  
  Модуль 7. Проектирование пакетных решений ETL для больших данных с помощью Spark
  • Что такое Spark?
  • ETL и Spark
  • Производительность Spark

Лабораторная работа: Проектирование пакетных решений ETL для больших данных с помощью Spark

  • Создание кластера HDInsight с доступом к хранилищу Data Lake
  • Использование кластера Spark в HDInsight для анализа данных в хранилище Data Lake
  • Анализ журналов сайта с помощью настраиваемой библиотеки кластера Apache Spark в HDInsight
  • Управление ресурсами кластера Apache Spark в Azure HDInsight
3  
  Модуль 8. Анализ данных со Spark SQL
  • Внедрение интерактивных запросов
  • Проведение исследовательского анализа данных

Лабораторная работа: Анализ данных со Spark SQL

  • Внедрение интерактивных запросов
  • Проведение исследовательского анализа данных
4  
  Модуль 9. Анализ данных с помощью Hive и Phoenix
  • Внедрение интерактивных запросов для больших данных с помощью Hive
  • Проведение исследовательского анализа данных с помощью Hive
  • Выполнение интерактивной обработки данных с помощью Apache Phoenix

Лабораторная работа: Анализ данных с помощью Hive и Phoenix

  • Внедрение интерактивных запросов для больших данных с помощью Hive
  • Проведение исследовательского анализа данных с помощью Hive
  • Выполнение интерактивной обработки данных с помощью Apache Phoenix
3  
  Модуль 10. Потоковая аналитика
  • Потоковая аналитика
  • Обработка потоковых данных из потоковой аналитики
  • Управление задачами потоковой аналитики

Лабораторная работа: Внедрение потоковой аналитики

  • Обработка потоковых данных из потоковой аналитики
  • Управление задачами потоковой аналитики
4  
  Модуль 11. Spark Streaming и DStream API
  • Обзор когнитивных служб
  • DStream
  • Создание приложений для обработки структурированных потоков в Spark
  • Стабильность и визуализация

Лабораторная работа: Использование DStream API для создания приложений Spark Streaming

  • Создание приложения Spark Streaming с помощью DStream API
  • Создание приложения для обработки структурированных потоков в Spark
3  
  Модуль 12. Разработка решений обработки больших данных в режиме реального времени с помощью Apache Storm
  • Долгохранимые данные
  • Потоковые данные в Storm
  • Создание топологии Storm
  • Настройка Apache Storm

Лабораторная работа: Разработка решений обработки больших данных в режиме реального времени с помощью Apache Storm

  • Потоковые данные в Storm
  • Создание топологии Storm
3  
  Модуль 13. Анализ данных с помощью Spark SQL
  • Внедрение интерактивных запросов
  • Проведение исследовательского анализа данных

Лабораторная работа: Использование R-сервисов машинного обучения

  • Внедрение интерактивных запросов
  • Проведение исследовательского анализа данных
4  
  Аудиторная нагрузка в классе с преподавателем 40 +20
бесплатно
 
  По окончании обучения на курсе проводится итоговая аттестация. Аттестация проводится в виде теста на последнем занятии или на основании оценок практических работ, выполняемых во время обучения на курсе.  

Ближайшие группы  rss.gif

Данный курс вы можете пройти как в очном формате, так и дистанционно в режиме вебинара . Чтобы записаться на вебинар, в корзине измените тип обучения на вебинар и выберите удобную для вас группу.
Чем отличается обучение в режиме вебинара от других видов обучения?

Стоимость обучения (рублей)* 

Курс может быть заказан согласно ФЗ-44, ФЗ-223 (закупка/аукцион/запрос котировок/конкурсные процедуры)
с 10:00 до 17:00 Вечер или Выходные
Стандартная цена
Вебинар Безлимитное обучение Записаться
Частные лица 31 990 31 990 31 990 5 990
Организации 32 990 32 990 32 990
Центр предоставляет специальную услугу Индивидуального обучения. Длительность индивидуального обучения - минимум 4 академических часа. Стоимость обучения в Москве уточняйте у менеджера. При выездном индивидуальном обучении устанавливается надбавка: +40% от стоимости заказанных часов при выезде в пределах МКАД, +40% от стоимости заказанных часов и + 1% от стоимости заказанных часов за каждый километр удаления от МКАД при выезде в пределах Московской области. Стоимость выезда за пределы Московской области рассчитывается индивидуально менеджерами по работе с корпоративными клиентами.

Документы об окончании

В зависимости от программы обучения выдаются следующие документы*:

БУХ

Удостоверение

Cert_Common

Свидетельство

Cert_Inter

Cертификат международного образца

Cert_Microsoft

Международный сертификат Microsoft

*До начала обучения вам необходимо предоставить копию диплома о высшем или среднем профессиональном образовании.

Сертификаты международного образца выводятся после окончания курса в личном кабинете слушателя.

Все документы Центра

logo_wm.gif cyberplat1.gif logo_ramblertop.gif Яндекс.Метрика LiveInternet