Мы работаем в прежнем режиме. Все группы состоятся в указанные сроки. Учим онлайн! Подробнее

Курс 20775А: Обработка Данных с Microsoft HDInsight

Код курса: М20775А




По окончании курса Вы будете уметь:
  • описывать Hadoop, MapReduce, HDInsight;
  • описывать типы кластеров HDInsight;
  • описывать создание, управление и удаление кластеров HDInsight с помощью PowerShell;
  • описывать, как разрешать доступ пользователей к объектам;
  • описывать конфигурации и архитектуру хранилища HDInsight;
  • проводить мониторинг ресурсов с Operations management suite;
  • выполнять запросы с Hive и Pig;
  • описывать использование ETL и Spark;
  • внедрять интерактивные запросы;
  • выполнять интерактивную обработку данных с помощью Apache Phoenix;
  • управлять задачами потоковой аналитики;
  • создавать приложения для обработки структурированных потоков в Spark;
  • использовать потоковые данные в Storm;
  • объяснять, как работает язык R;
  • преобразовывать и очищать наборы данных.
Специалисты, обладающие этими знаниями и навыками, в настоящее время крайне востребованы. Большинство выпускников наших курсов делают успешную карьеру и пользуются уважением работодателей.

Продолжительность курса - 40 ак. ч.

Преподаватели курса

Отзывы о Центре

Тут работают очень отзывчивые люди с желанием поделиться знаниями с другими людьми. Мне очень понравилось! Желаю Вам прогрессировать и развиваться дальше! Сейчас меня всё устраивает и я обязательно буду учиться далее

Cлушатель: Загер Давид Константинович

Удобство организации учебного процесса от момента заказа курсов до непосредственного обучения. Информационный обмен на высшем уровне. Обратная связь с кураторами и "бумажный" документооборот организованы прекрасно.

Cлушатель: Милованов Антон Михайлович

Предварительная подготовка

Требуемая подготовка: Успешное окончание курса Курс 20774А: Облачная аналитика больших данных (Big Data) при помощи машинного обучения в Azure или эквивалентная подготовка.

Требуемая подготовка: Успешное окончание курса Программирование на языке R. Уровень 1. Базовые знания или эквивалентная подготовка.

Требуемая подготовка: Успешное окончание курса Анализ данных на языке SQL или эквивалентная подготовка.

Требуемая подготовка: Английский язык. Уровень 2. Elementary, часть 2, или эквивалентная подготовка. Определить уровень владения языком вам поможет тест.

Рекомендуемая подготовка (необязательная): Успешное окончание курса М20767С: Разработка и эксплуатация хранилищ данных на SQL Server 2016 или эквивалентная подготовка.

Получить консультацию о необходимой предварительной подготовке по курсу Вы можете у наших менеджеров: +7 (495) 232-32-16.

Наличие предварительной подготовки является залогом Вашего успешного обучения. Предварительная подготовка указывается в виде названия других курсов Центра (Обязательная предварительная подготовка). Вам следует прочитать программу указанного курса и самостоятельно оценить, есть ли у Вас знания и опыт, эквивалентные данной программе. Если Вы обладаете знаниями менее 85-90% рекомендуемого курса, то Вы обязательно должны получить предварительную подготовку. Только после этого Вы сможете качественно обучиться на выбранном курсе.

Программа курса

  Тема Ак. часов  
   
  Модуль 1. Начало работы с HDInsight
  • Большие данные
  • Hadoop
  • MapReduce
  • HDInsight

Лабораторная работа: Запросы к большим данным

  • Запросы к данным с Hive
  • Запросы к данным с Excel
1  
  Модуль 2. Развертывание кластеров HDInsight
  • Типы кластеров HDInsight
  • Управление кластерами HDInsight
  • Управление кластерами HDInsight с помощью PowerShell

Лабораторная работа: Управление кластерами HDInsight в Azure

  • Создание кластера Hadoop в HDInsight
  • Настройка HDInsight с помощью скрипта
  • Настройка HDInsight с помощью Bootstrap
  • Удаление кластера HDInsight
2  
  Модуль 3. Авторизация пользователей для доступа к ресурсам
  • Недоменные кластеры
  • Настройка кластера HDInsight, подключенного к домену
  • Управление подключенным к домену кластером HDInsight

Лабораторная работа: Авторизация пользователей для доступа к ресурсам

  • Настройка кластера HDInsight, подключенного к домену
  • Настроить политики Hive
4  
  Модуль 4. Загрузка данных в HDInsight
  • Хранилище HDInsigh
  • Средства загрузки данных
  • Производительность и надёжность

Лабораторная работа: Загрузка данных в HDInsight

  • Загрузка данных с помощью Sqoop
  • Загрузка данных с помощью AZcopy
  • Загрузка данных с помощью ADLcopy
  • Использование HDInsight для сжатия данных
3  
  Модуль 5. Поиск и устранение неисправностей в HDInsight
  • Анализ журналов
  • Журналы YARN
  • Дампы кучи (Heap)
  • Operations management suite

Лабораторная работа: Поиск и устранение неисправностей в HDInsight

  • Анализ журналов HDInsight
  • Анализ журналов YARN
  • Мониторинг ресурсов с Operations management suite
2  
  Модуль 6. Внедрение пакетных решений
  • Хранилище Apache Hive
  • Запросы с Hive и Pig
  • Подключение HDInsight

Лабораторная работа: Резервное копирование баз данных SQL Server

  • Загрузка данных в таблицу Hive
  • Запрос данных в Hive и Pig
4  
  Модуль 7. Проектирование пакетных решений ETL для больших данных с помощью Spark
  • Что такое Spark?
  • ETL и Spark
  • Производительность Spark

Лабораторная работа: Проектирование пакетных решений ETL для больших данных с помощью Spark

  • Создание кластера HDInsight с доступом к хранилищу Data Lake
  • Использование кластера Spark в HDInsight для анализа данных в хранилище Data Lake
  • Анализ журналов сайта с помощью настраиваемой библиотеки кластера Apache Spark в HDInsight
  • Управление ресурсами кластера Apache Spark в Azure HDInsight
3  
  Модуль 8. Анализ данных со Spark SQL
  • Внедрение интерактивных запросов
  • Проведение исследовательского анализа данных

Лабораторная работа: Анализ данных со Spark SQL

  • Внедрение интерактивных запросов
  • Проведение исследовательского анализа данных
4  
  Модуль 9. Анализ данных с помощью Hive и Phoenix
  • Внедрение интерактивных запросов для больших данных с помощью Hive
  • Проведение исследовательского анализа данных с помощью Hive
  • Выполнение интерактивной обработки данных с помощью Apache Phoenix

Лабораторная работа: Анализ данных с помощью Hive и Phoenix

  • Внедрение интерактивных запросов для больших данных с помощью Hive
  • Проведение исследовательского анализа данных с помощью Hive
  • Выполнение интерактивной обработки данных с помощью Apache Phoenix
3  
  Модуль 10. Потоковая аналитика
  • Потоковая аналитика
  • Обработка потоковых данных из потоковой аналитики
  • Управление задачами потоковой аналитики

Лабораторная работа: Внедрение потоковой аналитики

  • Обработка потоковых данных из потоковой аналитики
  • Управление задачами потоковой аналитики
4  
  Модуль 11. Spark Streaming и DStream API
  • Обзор когнитивных служб
  • DStream
  • Создание приложений для обработки структурированных потоков в Spark
  • Стабильность и визуализация

Лабораторная работа: Использование DStream API для создания приложений Spark Streaming

  • Создание приложения Spark Streaming с помощью DStream API
  • Создание приложения для обработки структурированных потоков в Spark
3  
  Модуль 12. Разработка решений обработки больших данных в режиме реального времени с помощью Apache Storm
  • Долгохранимые данные
  • Потоковые данные в Storm
  • Создание топологии Storm
  • Настройка Apache Storm

Лабораторная работа: Разработка решений обработки больших данных в режиме реального времени с помощью Apache Storm

  • Потоковые данные в Storm
  • Создание топологии Storm
3  
  Модуль 13. Анализ данных с помощью Spark SQL
  • Внедрение интерактивных запросов
  • Проведение исследовательского анализа данных

Лабораторная работа: Использование R-сервисов машинного обучения

  • Внедрение интерактивных запросов
  • Проведение исследовательского анализа данных
4  
  Аудиторная нагрузка в классе с преподавателем 40 +20
бесплатно
 
  По окончании обучения на курсе проводится итоговая аттестация. Аттестация проводится в виде теста на последнем занятии или на основании оценок практических работ, выполняемых во время обучения на курсе.  

Ближайшие группы  rss.gif

Данный курс вы можете пройти как в очном формате, так и дистанционно в режиме онлайн. Чтобы записаться на онлайн-обучение, в корзине измените тип обучения на "онлайн" и выберите удобную для вас группу.
Чем онлайн-обучение отличается от других видов обучения?

Стоимость обучения (рублей)* 

Курс может быть заказан согласно ФЗ-44, ФЗ-223 (закупка/аукцион/запрос котировок/конкурсные процедуры)
с 10:00 до 17:00 Вечер или Выходные
Стандартная цена
Онлайн Индивидуальное обучение Записаться
Частные лица 35 990 35 990 35 990 142 000 **
Организации 37 990 37 990 37 990
Только для наших слушателей! Индивидуальная консультация по карьере совершенно бесплатно + ежемесячная рассылка вакансий от наших партнеров.
Центр предоставляет специальную услугу Индивидуального обучения. Длительность индивидуального обучения - минимум 4 академических часа. Стоимость обучения в Москве уточняйте у менеджера. При выездном индивидуальном обучении устанавливается надбавка: +40% от стоимости заказанных часов при выезде в пределах МКАД, +40% от стоимости заказанных часов и + 1% от стоимости заказанных часов за каждый километр удаления от МКАД при выезде в пределах Московской области. Стоимость выезда за пределы Московской области рассчитывается индивидуально менеджерами по работе с корпоративными клиентами.
**Указана минимальная цена за индивидуальное обучение. Число часов работы с преподавателем в 2 раза меньше, чем при обучении в группе. Если Вам для полного усвоения материала курса потребуется больше часов работы с преподавателем, то они оплачиваются дополнительно. В случае занятий по индивидуальной программе расчёт стоимости обучения и количества необходимых часов производится отдельно.

Документы об окончании

В зависимости от программы обучения выдаются следующие документы:

БУХ

Удостоверение*

Cert_Common

Свидетельство

Cert_Inter

Cертификат международного образца

Cert_Microsoft

Международный сертификат Microsoft

*Для получения удостоверения вам необходимо предоставить копию диплома о высшем или среднем профессиональном образовании.

Сертификаты международного образца выводятся после окончания курса в личном кабинете слушателя.

Все документы Центра

Актуальные новости

В Германии и Южной Африке учатся по методичкам «Специалиста»!

В Германии и Южной Африке учатся по методичкам «Специалиста»!

«Специалист» — единственный Учебный Центр России, который авторизовал самые популярные курсы по MS Office в компании Microsoft. Мы получили право обучать слушателей по своей уникальной методике в России и за рубежом!

Полный текст новости

Microsoft считает, что «удалёнка» останется надолго. «Специалист» спешит на помощь

Microsoft считает, что «удалёнка» останется надолго. «Специалист» спешит на помощь

За одну неделю марта 2020 года количество ежедневных пользователей программ Microsoft для дистанционной работы выросло с 32 млн до 44 млн. Джаред Спатаро, глава Microsoft 365, заявил, что пандемия Covid-19 навсегда изменит рабочие и учебные форматы. Он считает, что удалённая работа и обучение сохранятся и после пандемии.

Полный текст новости

Все новости

envelope

Спасибо! Вам на e-mail отправлено письмо со ссылкой для подтверждения

Если письмо не пришло, поищите его в папке со спамом или повторите подписку

email-checked.png

Вы подписались на рассылку

Наш сайт использует файлы cookie
Наша задача – сделать Ваше обучение успешным. Specialist.ru использует файлы cookie, чтобы гарантировать максимальное удобство пользователям, предоставляя им персонализированную информацию и запоминая их предпочтения. Продолжая пользоваться сайтом, Вы подтверждаете своё согласие на использование файлов cookie. Подробнее...