Основи на Кафка - курс 42 000 rub. от IBS Training Center, обучение 24 часа, Дата: 04.12.2023г.
разни / / November 29, 2023
Обхванати теми:
1. Преглед (теория – 1 час)
Какво е Кафка.
Примери за успешно и неуспешно използване на Кафка.
Кафка и базата данни: прилики и разлики.
Кафка и опашката от съобщения: прилики и разлики.
Архитектура за съхранение на Kafka: брокери, теми, дялове, сегменти, реплики.
Kafka клъстерна архитектура: Zookeeper, разделяне, главни и подчинени възли за репликация, ISR.
Клиенти и API.
2. Създаване на клъстер (практика – 1 час)
Практика 2.1: Изпълнение на Kafka клъстер с помощта на Docker.
Инсталиране на Zookeeper.
Инсталиране на брокери Kafka.
3. Разработка на приложения в Java (теория – 2,5 часа, практика – 2,5 часа)
Kafka Producer API: Основи.
Практика 3.1: Изпращане на едно съобщение.
Практика 3.2: Изпращане на множество съобщения.
Практика 3.3: Изпращане на множество съобщения с изрично разделяне.
Практика 3.4: Изпращане на съобщения без ключове.
Kafka Consumer API: основи, потребителски групи.
Практика 3.5: Един получател.
Практика 3.6: Множество получатели в една група.
Допълнителни функции: Пакети, Повторения, Идемпотентност, Транзакции, Ребалансиране на потребителски групи.
Практика 3.7: Изпращач без пакети и повторения.
Практика 3.8: Идемпотентен подател.
Практика 3.9: Транзакционен подател.
Практика 3.10: Изпращане и получаване в транзакция.
Практика 3.11: Получаване-обработка-изпращане в транзакция.
4. Външен достъп до клъстера Kafka (теория – 2 часа, практика – 2 часа)
Сигурност: SSL, SASL, Kerberos.
REST Proxy: изпращане и получаване на съобщения в JSON, двоични и Avro формати.
Практика 4.1: Достъп чрез REST прокси.
Регистър на схемата: регистър на схемата.
Практика 4.2: Използване на REST прокси с регистър на схемата.
5. Поддръжка и мониторинг (теория – 1 час, практика – 1 час)
Създаване на клъстер за различни цели.
Zookeeper: конфигурация, самостоятелен режим и режим на кворум, CLI.
Практика 5.1: Наблюдение на клъстер Kafka с Prometheus.
6. Няколко клъстера (теория – 1 час, практика – 1 час)
Защо може да имате нужда от множество клъстери в Kafka?
MirrorMakerAccess.
Практика 6.1: Използване на MirrorMaker за синхронизиране на клъстери.
Репликатор на сливане.
7. Kafka Connect (теория – 2 часа, практика – 2 часа)
Kafka Connect архитектура.
Kafka Connect поглъща данни.
Практика 7.1: Файлов приемник FileStream.
Практика 7.2: JDBC приемник.
Kafka Connect източници на данни.
Практика 7.3: Източник на FileStream.
Практика 7.4: JDBC източник.
8. Основи на Kafka Streams (теория – 2 часа, практика – 2 часа)
Kafka Streams: DSL, API, StreamBuilder, създаване и внедряване на топология.
Демонстрация 8.1: Прилагане на топологията Streams.
Демонстрация 8.2: Изграждане на приложение Streams с помощта на StreamBuilder.
Kafka Streams устройство: многопоточност, множество инстанции и задачи.
Схеми на данни в Kafka: сериализиране в JSON схеми, Avro схеми, регистър на схеми, еволюция на схема.
Демонстрация 8.3: Използване на JSON схеми.
Stateful Processing: State Store, Толерантност към грешки за State Stores.
KTable: Потоци за актуализиране на данни, кеширане, скорост на извличане, агрегиране.
Прозорци в потоци: времеви отпечатъци, плаващи, скачащи, сесия.
Връзка: поток към поток, KTable към KTable, поток към KTable.