На первую страницу Курсы для специалистов Курсы ЕГАИС Психология - Управление - Маркетинг Курсы  Big Data Science  

Курсы Big Data Science

Микроинформ логотип

Курсы Big Data Science в Микроинформ

 Курс: BD-KAFKA Администрирование Apache Kafka (Administering Apache Kafka)

Ориентирован: на специалистов, желающих изучить методы распределенной обработки очереди сообщений Kafka с использованием практических примеров реализации.
Предварительный уровень подготовки:

  • Начальный опыт работы в Unix/SQL;
  • Начальный опыт программирования (Java).

Продолжительность: 3 дня, 24 академических часа.
Методические материалы: учебные материалы в эл. виде на русском языке.
Документ об окончании курса: свидетельство учебного центра Микроинформ.
Квалификационный тест: нет.

Курс представляет собой преимущественно практический тренинг по установке и настройке кластера Apache Kafka, распределенной потоковой обработке событий (Event Stream Processing), конфигурации безопасности Kerberos, интеграции с Apache NiFi, Spark, Flume, Zookeeper.

Прежде всего курс предназначен для специалистов, желающих получить и систематизировать свои знания по использованию Apache Kafka для организации распределенной потоковой обработке событий (Event Stream Processing) на практических примерах с потоковыми данными в реальном времени. Курс содержит расширенные сведения по установке распределенного кластера Apache Kafka, настройке безопасности Kerberos, интеграции с другими продуктами, мониторингу и оптимизации Kafka в соответствии с «best practices».

Программа курса

  1. Введение в Apache Kafka
    • Что такое Apache Kafka?
    • Сценарии использования Kafka
    • Компоненты Kafka и Kafka экосистемы
    • Архитектура Kafka
    • Кластер Zookeeper
    • Потоковая Обработка Событий (Event Stream Processing): терминология и основные концепции; сравнение Hadoop и Spark.
  2. Основные концепции Apache Kafka
    • Как работает Kafka: топики (Topics) и партиции (Partitions); репликация данных.
    • Брокеры (Brokers): развертывание; конфигурация Multibroker.
    • Поставщики данных (Producers): типы партиций; синхронные и асинхронные Producers; параметры конфигурации. Java API.
    • Потребители данных (Consumers): очереди Consumers; широковещание (Broadcasting); особенности использования RDD; RDD lineage.
  3. Установка кластера Apache Kafka
    • Требования по установке кластера Kafka.
    • Установка и настройка кластера Zookeeper: настройка кворума; конфигурация сервисов и файловой системы; оптимизация и отказоустойчивость Zookeeper.
    • Установка и настройка кластера Kafka: планирование установки и sizing кластера Kafka; типовые проблемы при установке; запуск и первоначальное конфигурирование Kafka; конфигурация Listeners; отказоусточивость кластера Kafka; Kafka-менеджер.
    • Установка кластера Kafka на AWS.
  4. Базовые операции в Apache Kafka
    • Операции с топиками (Topic)
    • Публикация данных с консольного Producer
    • Получение данных с консольного Consumer
    • Пользовательские интерфейсы топика Kafka (Topics UI)
    • Написание кода producer
    • Написание кода consumer
    • Альтернатива RDDs.
  5. Оптимизация кластера Apache Kafka
    • Оптимизация производительности компонентов кластера
    • Масштабирование кластера
    • Балансировка разделов (partition) и использование Partition Reassignment Tools
    • Best Practices
    • Мониторинг кластера Kafka.
  6. Интеграция с Apache Kafka
    • Интеграция Spark и Spark Streaming
    • Интеграция потоковой обработки Spark Streaming и Kafka
    • Использование Apache NiFi
    • Интеграция Apache Flume с Kafka
  7. Расширенная конфигурация кластера Apache Kafka
    • Расширенная конфигурация топиков (Topic): изменение конфигурации топиков; Sizing (количество партиций и фактор репликации); сегменты и индексы; политика очистки логов (Log Cleanup Policy); сжатие и консолидация данных в логах.
    • Пользовательский интерфейс Landoop Kafka Topics
    • Confluent REST Proxy
    • Настройка Confluent Schema Registry
    • Архитектура Kafka Connect.
  8. Безопасность в Kafka
    • Шифрование SSL: установка центра сертификатов (CA); настройка SSL для Kafka кластера и клиентов.
    • Аутентификация SSL/SASL
    • Аутентификация Kerberos: настройка Kerberos; Keytabs и principals; настройка кластера Kafka и клиентов для поддержки Kerberos.
    • Авторизация в Kafka
    • Управление списками управления доступом (ACL).