반응형
Spark 드라이버란?
- SparkSession 객체를 초기화 해줍니다.
- 클러스터 매니저와 통신하며 스파크 이그제큐터들을 위해 필요한 자원(CPU, Memory 등)을 요청하고 모든 스파크 작업을 DAG 연산 형태로 변환하고 스케줄링하며 각 실행 단위를 태스크로 나누어 스파크 이그제큐터들에게 분배해줍니다. 자원이 할당되면 Spark 드라이버는 이그제큐터와 직접 통신합니다.
반응형
'Data engineer > Apache Spark' 카테고리의 다른 글
| [Spark]Spark Cluster Manager 이란? (0) | 2024.01.07 |
|---|---|
| [Spark]SparkSession 이란? (0) | 2024.01.07 |
| [Spark]Spark 애플리케이션 이란? (0) | 2024.01.07 |
| [Spark]GraphX (0) | 2024.01.07 |
| [Spark]Spark 정형화 스트리밍(Structured Streaming) (1) | 2024.01.07 |