kafka-workshop
kafka-workshop copied to clipboard
Интенсив «Kafka за 90 минут» для DevOpsConf 2023
Интенсив «Kafka за 90 минут»
Интенсив «Kafka за 90 минут» состоит из двух частей: теории и практики. Теория поможет составить ментальную модель Kafka, а практика — попробовать инструмент в действии и получить набор готовых конфигураций для применения их в своих лабораторных и тестовых средах на работе.
Теория
Содержание
- Расскажем о сценариях использования Kafka.
- Узнаем, что такое консумер, продюсер и брокер.
- Разберём, как связаны топики, партиции и сегменты.
- Поговорим о формате сообщений в Kafka.
- Расскажем о лидере партиций, репликации данных и партицировании.
- Поговорим о гарантиях доставки сообщений и идемпотентности.
- Выясним, что такое консумер-группа и ребалансировка консумеров в ней.
Длительность: 45 минут
Материал
- Презентация
- Расшифровка
Практика
Содержание
- Склонируем репозиторий с конфигурацией Docker Compose.
- Подберём конфигурации топиков и создадим их.
- Настроим и запустим продюсер.
- Настроим и запустим консумер.
- Изменим оффсет для консумер-группы.
- Посмотрим на основные показатели в Grafana.
Длительность: 30 минут
Материал
- Перед началом
- Запуск кластера
- Создание топика
- Работа продюсера
- Работа консумера
- Наблюдаемость Kafka
Бонус-трек
Материалы
- Kafka: настройка клиента
- Kafka: чтение и запись в топик
- Kafka: управление топиками и партициями
- Kafka: управление консумер-группами
- Kafka: управление доступами к топикам