Learning Spark Ch.2

Spark Applicaion Concepts #

Spark 애플리케이션의 주요 개념과 코드가 Spark executors에서 task들로 transform되고 execute되는 방식을 알아야함

Application #

  • Spark의 API를 사용해 구축된 user program.
  • driver program과 executors가 클러스터로 구성됨

SparkSession #

  • 기본 Spark 기능과 상호 작용하고 API를 사용해 Spark를 프로그래밍할 수 있는 진입점을 제공하는 객체