[Spark]tungsten 이란?

tungsten 이란?

Spark 의 Tungsten은 성능 향상을 위해 설계된 엔진으로, 텅스텐 엔진이라고도 불립니다. 이 엔진은 여러 최적화 기술을 결합하여 스파크의 처리 속도와 메모리 효율성을 향상시킵니다.

• 텅스텐 엔진은 객체를 이진수로 인코딩하여 메모리에서 직접 참조하는 방식을 사용합니다.
• 오프-힙 할당과 온-힙 할당 두 가지 메모리 관리 모드를 지원하며, 오프-힙 모드는 Unsafe 클래스를 사용해 직접 메모리를 할당하고 해제합니다.
• 온-힙 모드는 이진수로 인코딩한 객체를 JVM이 관리하는 배열에 저장하고, 오프-힙 모드는 스파크가 배열을 직접 관리합니다.
• 오프-힙 모드는 기본으로 비활성화되어 있지만, spark.unsafe.offHeap 환경 매개변수를 true로 설정하여 활성화 가능합니다.
• 이진수로 인코딩된 객체는 적은 메모리를 차지하며, 텅스텐 엔진은 CPU의 캐시를 효율적으로 활용하는 다양한 기법을 사용합니다.