Apache Spark framework за разработчици: напреднало ниво - курс 41 500 rub. от IBS Training Center, обучение 24 часа, Дата 26 ноември 2023 г.
разни / / December 05, 2023
Обучението осигурява подробно разбиране на вътрешната структура и функционирането на рамката на Apache Spark - както Spark Core (RDD), така и Spark SQL, Spark Streaming и Spark Structured Streaming. Разглеждат се механизмите за стартиране на клъстерни компоненти на Spark под контрола на различни мениджъри на клъстери, управление на разпределението на ресурси (предимно памет) и механизмите на работа на планировчиците. Предимствата на формата за вътрешно представяне на Tungsten и работата на оптимизатора Catalyst са разгледани подробно.
Обхванати теми:
Вътрешна архитектура на Spark, среда за изпълнение на Spark
Настройка на Spark Context, SparkConf
RDD вътрешни, логическо оформление
Най-добри практики за програмиране с RDD
Физически план: работа, етапи, задачи
Проектанти и изпълнение на физическия план
Настройка на паметта, сериализация, кеширане, събиране на боклук
Datasource API, Tungsten вътрешно представяне на данни, файлови формати
Оптимизатор на катализатора
Microbatch Spark Streaming: получаване и извеждане на данни
Структурирано поточно предаване: получаване и разпространение на данни