На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений. В этом модуле вы изучите: ▶ cхема выполнения задачи в Spark; ▶ основные термины Spark (job, task, stage); ▶ представление вычислений в виде графа. Spark Python API. Spark RDD API; ▶ Broadcast-сообщения и счетчики. ▶ взаимодействие Hive и Spark SQL; ▶ отличия DF от RDD. ▶ Spark on YARN; ▶ типы stage в Spark; ▶ оптимизация операции shuffle; ▶ настройка Garbage Collection, тюнинг потребления памяти.