참고 문헌

• https://medium.com/@amitjoshi7/spark-architecture-a-deep-dive-2480ef45f0be

0. Install Spark

• 필수 패키지

  • JDK 1.8 version 이상

    • Install Guide

      # First install Java
      sudo yum -y update
      sudo yum install java-1.8.0-openjdk.x86_64
      export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
      # Should be something like: OpenJDK Runtime Environment (build 1.8.0_161-b14)
      java -version
      

  • Scala 2.12.4 version 이상

    • Install Guide

      # We'll use wget to download some of the artifacts that need to be installed
      sudo yum install wget
      
      # Then install Scala
      wget <https://downloads.lightbend.com/scala/2.12.4/scala-2.12.4.rpm>
      sudo yum install scala-2.12.4.rpm
      # Should be something like: Scala code runner version 2.12.4 -- Copyright 2002-2017, LAMP/EPFL and Lightbend, Inc.
      scala -version
      

• Spark 설치

  • Install Guide

    # Then download Spark
    wget <https://archive.apache.org/dist/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz>
    tar xvf spark-2.2.1-bin-hadoop2.7.tgz
    export SPARK_HOME=$HOME/spark-2.2.1-bin-hadoop2.7
    export PATH=$PATH:$SPARK_HOME/bin
     
    # Start a Spark master
    cd $SPARK_HOME
    ./sbin/start-master.sh
    

1. First Spark

1.1 Hellow Spark

Apache Spark is a lightning-fast unified analytics engine for big data and machine learning. (아파치 스파크는 빛처럼 빠른 통합된 분석 엔진이다. 빅데이터 분석과 머신러닝을 위해서)

통합 컴퓨팅 엔진이며 클러스터 환경에서 데이터를 병렬로 처리하는 라이브러리 집합

1.2 아파치 스파크의 철학

"빅데이터를 위한 통합 컴퓨팅 엔진과 라이브러리 집합"

1.2.1 통합(Unified)

스파크는 '빅데이터 애플리케이션 개발에 필요한 통합 플랫폼을 제공하자'는 핵심 목표를 가지고 있다. 그렇다면 통합(Unified)이란 의미는 무엇일까? 스파크는 간단한 데이터 수집부터 SQL처리, 머신러닝 그리고 스트림(Stream) 처리에 이르기까지 다양한 데이터 분석 작업을 동일 연산 엔진과 일괄성 있는 API로 수행할 수 있다.

일관성 있는 조합형 API를 제공하므로 작은 코드 조각이나 기존 라이브러리를 이용해서 간단하게 애플리케이션을 만들 수 있다. 조합형 API으로 문제를 해결할 수 없다면, 직접 스파크 기반의 라이브러리를 만들 수 도 있다.

1.2.2 컴퓨팅 엔진(Clustering)

스파크는 저장소 시스템의 데이터를 연산하는 역할만 수행할 뿐 영구 저장소 역할은 수행하지 않는다.(이 부분이 하둡과 큰 차이점을 가지고 있다.) 그래서 스파크는 다양한 저장소와 컨텍(connect)할 수 있는 라이브러리를 제공한다.

스파크는 내부에 데이터를 오랜 시간 저장하지 않으며 특정 저장소 시스템을 선호하지 않는다. 데이터 이동은 높은 비용을 유발하기 때문에 스파크는 데이터 저장 위치에 상관 없이 처리에 집중하도록 만들어 졌다.

1.2.3 라이브러리(Library)

스파크가 세상속에 나타나고 스파크 코어는 초창기와 비교했을 때 많은 변화은 없었다. 하지만 내부적으로 많은 라이브러리들이 생겼나고, 또한 외부에서 서드파티프로젝트를 통해서 많은 라이브러리들 탄생했다. 그 예로 스파크SQL, 머신러닝 프로세스를 지원하는 MiLab 등 많은 라이브러리들이 존재한다.

2. Spark 간단히 살펴보기

2.1 스파크의 기본 아키텍처

클러스터에서 작업(Job)을 조율 해주는 역할을 하는 프레임워크. 스파크는 클러스터의 데이터 처리 작업을 관리하고 조율한다. 스파크가 연산에 사용하는 클러스터는 스파크 스탠드얼론, 하둡의 YARN, 메소스(Mecos) 같은 클러스트 매니져에서 관리한다. 사용자는 클러스트 매니져에게 스파크 애플리케이션을 제출(submit)한다. 이를 제출받은 클러스터 매니져는 애플케이션 실행에 필요한 자원을 할당하며 우리는 할당받은 자원으로 작업을 처리한다.

2.2 Spark Application

스파크 애플리케이션은 하나의 드라이버(Driver) 프로세스와 다수의 익스큐터(Executoer) 프로세스로 구성을 이룬다.