반응형
Spark 애플리케이션 이란?
Spark 애플리케이션은 Spark 클러스터의 병렬 작업들을 조율하는 하나의 드라이버 프로그램으로 이루어져 있습니다.
드라이버란?
드라이버는 SparkSession 객체를 통해 클러스터의 분산 컴포넌트들(Spark 이그제큐터와 클러스터 매니저)에 접근합니다.
-> Spark 애플리케이션 안에 Spark 드라이버가 SparkSession 을 통해 Spark 이그제큐터와 클러스터 매니저에 접근)
반응형
'Data engineer > Apache Spark' 카테고리의 다른 글
| [Spark]SparkSession 이란? (0) | 2024.01.07 |
|---|---|
| [Spark]Spark 드라이버란? (0) | 2024.01.07 |
| [Spark]GraphX (0) | 2024.01.07 |
| [Spark]Spark 정형화 스트리밍(Structured Streaming) (1) | 2024.01.07 |
| [Spark]Spark MLlib(Machine Learning Library) (0) | 2024.01.07 |