Частным лицам: +7 (495) 232-32-16
Корп. клиентам: +7 (495) 780-48-44

Курс 20775А: Обработка Данных с Microsoft HDInsight




По окончании курса Вы будете уметь:
  • описывать Hadoop, MapReduce, HDInsight;
  • описывать типы кластеров HDInsight;
  • описывать создание, управление и удаление кластеров HDInsight с помощью PowerShell;
  • описывать, как разрешать доступ пользователей к объектам;
  • описывать конфигурации и архитектуру хранилища HDInsight;
  • проводить мониторинг ресурсов с Operations management suite;
  • выполнять запросы с Hive и Pig;
  • описывать использование ETL и Spark;
  • внедрять интерактивные запросы;
  • выполнять интерактивную обработку данных с помощью Apache Phoenix;
  • управлять задачами потоковой аналитики;
  • создавать приложения для обработки структурированных потоков в Spark;
  • использовать потоковые данные в Storm;
  • объяснять, как работает язык R;
  • преобразовывать и очищать наборы данных.
Специалисты, обладающие этими знаниями и навыками, в настоящее время крайне востребованы. Большинство выпускников наших курсов делают успешную карьеру и пользуются уважением работодателей.

Продолжительность курса - 40 ак. ч.

Отзывы о Центре

Тут работают очень отзывчивые люди с желанием поделиться знаниями с другими людьми. Мне очень понравилось! Желаю Вам прогрессировать и развиваться дальше! Сейчас меня всё устраивает и я обязательно буду учиться далее

Cлушатель: Загер Давид Константинович

Удобство организации учебного процесса от момента заказа курсов до непосредственного обучения. Информационный обмен на высшем уровне. Обратная связь с кураторами и "бумажный" документооборот организованы прекрасно.

Cлушатель: Милованов Антон Михайлович

Предварительная подготовка

Требуемая подготовка: Успешное окончание курса Курс 20774А: Облачная аналитика больших данных (Big Data) при помощи машинного обучения в Azure или эквивалентная подготовка.

Требуемая подготовка: Успешное окончание курса Программирование на языке R. Уровень 1. Базовые знания или эквивалентная подготовка.

Требуемая подготовка: Успешное окончание курса Анализ данных на языке SQL или эквивалентная подготовка.

Требуемая подготовка: Английский язык. Уровень 2. Elementary, часть 2, или эквивалентная подготовка. Определить уровень владения языком вам поможет тест.

Рекомендуемая подготовка (необязательная): Успешное окончание курса Курс 20767А: Разработка и эксплуатация хранилищ данных на SQL Server 2016 или эквивалентная подготовка.

Получить консультацию о необходимой предварительной подготовке по курсу Вы можете у наших менеджеров: +7 (495) 232-32-16.

Наличие предварительной подготовки является залогом Вашего успешного обучения. Предварительная подготовка указывается в виде названия других курсов Центра (Обязательная предварительная подготовка). Вам следует прочитать программу указанного курса и самостоятельно оценить, есть ли у Вас знания и опыт, эквивалентные данной программе. Если Вы обладаете знаниями менее 85-90% рекомендуемого курса, то Вы обязательно должны получить предварительную подготовку. Только после этого Вы сможете качественно обучиться на выбранном курсе.

Сертификации и экзамены

Данный курс готовит к экзаменам, входящим в программы подготовки сертифицированных специалистов международного уровня:

Данный курс готовит к успешной сдаче международных сертификационных экзаменов:

Программа курса

  Тема Ак. часов  
   
  Модуль 1. Начало работы с HDInsight
  • Большие данные
  • Hadoop
  • MapReduce
  • HDInsight

Лабораторная работа: Запросы к большим данным

  • Запросы к данным с Hive
  • Запросы к данным с Excel
1  
  Модуль 2. Развертывание кластеров HDInsight
  • Типы кластеров HDInsight
  • Управление кластерами HDInsight
  • Управление кластерами HDInsight с помощью PowerShell

Лабораторная работа: Управление кластерами HDInsight в Azure

  • Создание кластера Hadoop в HDInsight
  • Настройка HDInsight с помощью скрипта
  • Настройка HDInsight с помощью Bootstrap
  • Удаление кластера HDInsight
2  
  Модуль 3. Авторизация пользователей для доступа к ресурсам
  • Недоменные кластеры
  • Настройка кластера HDInsight, подключенного к домену
  • Управление подключенным к домену кластером HDInsight

Лабораторная работа: Авторизация пользователей для доступа к ресурсам

  • Настройка кластера HDInsight, подключенного к домену
  • Настроить политики Hive
4  
  Модуль 4. Загрузка данных в HDInsight
  • Хранилище HDInsigh
  • Средства загрузки данных
  • Производительность и надёжность

Лабораторная работа: Загрузка данных в HDInsight

  • Загрузка данных с помощью Sqoop
  • Загрузка данных с помощью AZcopy
  • Загрузка данных с помощью ADLcopy
  • Использование HDInsight для сжатия данных
3  
  Модуль 5. Поиск и устранение неисправностей в HDInsight
  • Анализ журналов
  • Журналы YARN
  • Дампы кучи (Heap)
  • Operations management suite

Лабораторная работа: Поиск и устранение неисправностей в HDInsight

  • Анализ журналов HDInsight
  • Анализ журналов YARN
  • Мониторинг ресурсов с Operations management suite
2  
  Модуль 6. Внедрение пакетных решений
  • Хранилище Apache Hive
  • Запросы с Hive и Pig
  • Подключение HDInsight

Лабораторная работа: Резервное копирование баз данных SQL Server

  • Загрузка данных в таблицу Hive
  • Запрос данных в Hive и Pig
4  
  Модуль 7. Проектирование пакетных решений ETL для больших данных с помощью Spark
  • Что такое Spark?
  • ETL и Spark
  • Производительность Spark

Лабораторная работа: Проектирование пакетных решений ETL для больших данных с помощью Spark

  • Создание кластера HDInsight с доступом к хранилищу Data Lake
  • Использование кластера Spark в HDInsight для анализа данных в хранилище Data Lake
  • Анализ журналов сайта с помощью настраиваемой библиотеки кластера Apache Spark в HDInsight
  • Управление ресурсами кластера Apache Spark в Azure HDInsight
3  
  Модуль 8. Анализ данных со Spark SQL
  • Внедрение интерактивных запросов
  • Проведение исследовательского анализа данных

Лабораторная работа: Анализ данных со Spark SQL

  • Внедрение интерактивных запросов
  • Проведение исследовательского анализа данных
4  
  Модуль 9. Анализ данных с помощью Hive и Phoenix
  • Внедрение интерактивных запросов для больших данных с помощью Hive
  • Проведение исследовательского анализа данных с помощью Hive
  • Выполнение интерактивной обработки данных с помощью Apache Phoenix

Лабораторная работа: Анализ данных с помощью Hive и Phoenix

  • Внедрение интерактивных запросов для больших данных с помощью Hive
  • Проведение исследовательского анализа данных с помощью Hive
  • Выполнение интерактивной обработки данных с помощью Apache Phoenix
3  
  Модуль 10. Потоковая аналитика
  • Потоковая аналитика
  • Обработка потоковых данных из потоковой аналитики
  • Управление задачами потоковой аналитики

Лабораторная работа: Внедрение потоковой аналитики

  • Обработка потоковых данных из потоковой аналитики
  • Управление задачами потоковой аналитики
4  
  Модуль 11. Spark Streaming и DStream API
  • Обзор когнитивных служб
  • DStream
  • Создание приложений для обработки структурированных потоков в Spark
  • Стабильность и визуализация

Лабораторная работа: Использование DStream API для создания приложений Spark Streaming

  • Создание приложения Spark Streaming с помощью DStream API
  • Создание приложения для обработки структурированных потоков в Spark
3  
  Модуль 12. Разработка решений обработки больших данных в режиме реального времени с помощью Apache Storm
  • Долгохранимые данные
  • Потоковые данные в Storm
  • Создание топологии Storm
  • Настройка Apache Storm

Лабораторная работа: Разработка решений обработки больших данных в режиме реального времени с помощью Apache Storm

  • Потоковые данные в Storm
  • Создание топологии Storm
3  
  Модуль 13. Анализ данных с помощью Spark SQL
  • Внедрение интерактивных запросов
  • Проведение исследовательского анализа данных

Лабораторная работа: Использование R-сервисов машинного обучения

  • Внедрение интерактивных запросов
  • Проведение исследовательского анализа данных
4  
  Аудиторная нагрузка в классе с преподавателем 40 +20
бесплатно
 
  По окончании обучения на курсе проводится итоговая аттестация. Аттестация проводится в виде теста на последнем занятии или на основании оценок практических работ, выполняемых во время обучения на курсе.  

Расписание

Звоните по тел. +7 (495) 232-32-16

Стоимость обучения (рублей)* 

Курс может быть заказан согласно ФЗ-44, ФЗ-223 (закупка/аукцион/запрос котировок/конкурсные процедуры)
с 10:00 до 17:00 Вечер или Выходные
Стандартная цена
Онлайн Индивидуальное обучение Записаться
Частные лица 38 990 38 990 38 990 111 000 **
Организации 40 990 40 990 40 990
Центр предоставляет специальную услугу Индивидуального обучения. Длительность индивидуального обучения - минимум 4 академических часа. Стоимость обучения в Москве уточняйте у менеджера. При выездном индивидуальном обучении устанавливается надбавка: +40% от стоимости заказанных часов при выезде в пределах МКАД, +40% от стоимости заказанных часов и + 1% от стоимости заказанных часов за каждый километр удаления от МКАД при выезде в пределах Московской области. Стоимость выезда за пределы Московской области рассчитывается индивидуально менеджерами по работе с корпоративными клиентами.
**Указана минимальная цена за индивидуальное обучение. Число часов работы с преподавателем в 2 раза меньше, чем при обучении в группе. Если Вам для полного усвоения материала курса потребуется больше часов работы с преподавателем, то они оплачиваются дополнительно.

Документы об окончании

В зависимости от программы обучения выдаются следующие документы:

БУХ

Удостоверение*

Cert_Common

Свидетельство

Cert_Inter

Cертификат международного образца

Cert_Microsoft

Международный сертификат Microsoft

*Для получения удостоверения вам необходимо предоставить копию диплома о высшем или среднем профессиональном образовании.

Сертификаты международного образца выводятся после окончания курса в личном кабинете слушателя.

Все документы Центра

Актуальные новости

Впервые в России! УЦ «Специалист» запускает Microsoft Plus

Впервые в России! УЦ «Специалист» запускает Microsoft Plus

В УЦ «Специалист» слушатели курсов Microsoft получают бесплатно полугодовой доступ к системе практических тестов Measure Up (стоимостью от 80 до 130 евро). На территории России и бывшего СССР такие условия имеет только УЦ «Специалист», как единственный участник Ассоциации ведущих европейских учебных центров LLPA.

Полный текст новости

В новый год с сертификатом Microsoft Azure!

В новый год с сертификатом Microsoft Azure!

Учебный Центр «Специалист» и Microsoft предоставляют уникальную возможность сдать экзамен со скидкой 99% и получить международный сертификат специалиста по облачным решениям Microsoft.

Полный текст новости

Все новости

Microsoft Cisco PMI Peoplecert Adobe 1C Autodesk

Курсы менеджеров по персоналу Кадровые курсы Бухгалтерские курсы Курсы дизайна Курсы фотошоп Курсы 1с Курсы 3ds max

© 1991–2019 Центр компьютерного обучения «Специалист» при МГТУ им.Н.Э.Баумана
Адрес главного офиса: г. Москва, Госпитальный переулок, д. 4/6. Адреса учебных центров: м.Таганская, м.Пролетарская или м.Крестьянская застава, м.Бауманская, м.Красносельская, м.Полежаевская, м.Белорусская или м.Савеловская.


Телефон: +7 (495) 232-32-16, E-mail: info@specialist.ru, Whatsapp: +7 (985) 842-11-89, Дистанционное обучение для слабослышащих, Отправить сообщение вебмастеру

Не нашли нужный курс? Воспользуйтесь Поиском!

Сведения об образовательных организациях
envelope

Спасибо! Вам на e-mail отправлено письмо со ссылкой для подтверждения

Если письмо не пришло, поищите его в папке со спамом или повторите подписку

email-checked.png

Вы подписались на рассылку

logo_wm.gif cyberplat1.gif logo_ramblertop.gif Яндекс.Метрика
Наш сайт использует файлы cookie
Наша задача – сделать Ваше обучение успешным. Specialist.ru использует файлы cookie, чтобы гарантировать максимальное удобство пользователям, предоставляя им персонализированную информацию и запоминая их предпочтения. Продолжая пользоваться сайтом, Вы подтверждаете своё согласие на использование файлов cookie. Подробнее...