DataRailroad

Spark 디렉토리와 파일들

• README.md
• bin
  • Spark shell 들을 포함하여 Spark 와 상호 작용할 수 있는 대부분의 스크립트를 가지고 있습니다.
  • shell 과 실행 파일은 나중에 spark-submit 을 써서 단독 Spark 애플리케이션을 제출하거나 쿠버네티스로 Spark 를 실행할 때 도커 이미지를 만들고 푸시하는 스크립트 작성을 위해 사용할 수 있습니다.
• sbin
  • 스크립트 중 대부분은 다양한 배포 모드에서 클러스터의 Spark 컴포넌튿르을 시작하고 중지하기 위한 관리 목적에 스크립트입니다.
• kubernetes
  • Spark 2.4 릴리스부터 이 디렉토리에 쿠버네티스 클러스터에서 쓰는 Spark 를 위한 도커 이미지 제작을 위한 Dockerfile 들이 있습니다.
• data
  • MLlib, 정형화 프로그래밍, GraphX 등에서 입력으로 사용되는 *.txt 파일들이 있습니다.
• examples
  • 코드 examples 가 있습니다.