[Apache Spark] Installation

p.s> 개인적인 공부 및 내용 정리를 위해 파파고 및 구글을 통해 번역을 한 것이므로, 틀린 번역 내용이 있을 수도 있습니다.

이점을 감안하시고, 읽어봐주세요.

원문 : https://www.tutorialspoint.com/apache_spark/apache_spark_installation.htm

스파크는 하둡의 하위 프로젝트다. 따라서 Linux 기반 시스템에 스파크를 설치하는 것이 좋다. 다음 단계는 아파치 스파크를 설치하는 방법을 보여준다.

Step 1: Verifying Java Installation ( Java 설치 검증 )

자바 설치는 스파크 설치의 필수 사항 중 하나이다. 다음 명령을 사용해 JAVA 버전을 검증한다.

$java -version

만약 자바가 이미 당신의 시스템에 설치되어 있다면, 당신은 다음의 반응을 볼 수 있다.

java version "1.7.0_71"

Java(TM) SE Runtime Environment (build 1.7.0_71-b13)

Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

시스템에 Java가 설치되어 있지 않은 경우 다음 단계로 진행하기 전에 Java를 설치하십시오.

Step 2: Verifying Scala installation (  Scala 설치 확인 )

스파크를 구현하려면 스칼라 언어를 사용해야 한다. 따라서 다음 명령을 사용하여 Scala 설치를 검증해보자.

$scala -version

만약 Scala가 당신의 시스템에 이미 설치되어 있다면, 당신은 다음의 반응을 볼 수 있다.

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

시스템에 Scala가 설치되어 있지 않은 경우 Scala 설치를 위한 다음 단계로 진행하십시오.

Step 3: Downloading Scala ( 스칼라 다운로드 )

다음 링크인 "Download Scala"를 방문하면 Scala의 최신 버전을 다운로드 받을 수 있다. 본 자습서에서는, scala-2.11.6 버전을 사용하고 있다. 다운로드 후 다운로드 폴더에서 Scala tar 파일을 찾을 수 있다.

Link : https://www.scala-lang.org/download/

Step 4: Installing Scala ( 스칼라 설치 )

Scala를 설치하기 위해 아래의 단계를 따른다.

Extract the Scala tar file ( 스칼라 tar 파일 추출 )

Scala tar 파일을 추출하기 위해 다음 명령을 입력한다.

$ tar xvf scala-2.11.6.tgz

Move Scala software files ( 스칼라 소프트웨어 파일 이동 )

Scala 소프트웨어 파일을 각 디렉토리(/usr/local/scala)로 이동하려면 다음 명령을 사용한다.

$ su –

Password:

# cd /home/Hadoop/Downloads/

# mv scala-2.11.6 /usr/local/scala

# exit

Set PATH for Scala ( 스칼라를 위한 PATH 설정 )

Scala의 PATH를 설정하려면 다음 명령을 사용한다.

$ export PATH = $PATH:/usr/local/scala/bin

Verifying Scala Installation ( 스칼라 설치 검증 )

설치 후 검증하는 것이 좋다. 다음 명령을 사용하여 Scala 설치를 검증한다.

$scala -version

만약 Scala가 당신의 시스템에 이미 설치되어 있다면, 당신은 다음의 반응을 볼 수 있다.

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Step 5: Downloading Apache Spark ( 아파치 스파크 다운로드 )

다음 링크인 "Download Spark"를 방문하여 스파크 최신 버전을 다운로드하십시오. 본 자습서에서는 spark-1.3.1-bin-hadoop2.6 버전을 사용하고 있다. 다운로드 후 다운로드 폴더에서 스파크 타르 파일을 찾을 수 있다.

Link : https://spark.apache.org/downloads.html

Step 6: Installing Spark ( 스파크 설치 )

스파크 설치를 위해 아래에 주어진 단계를 따르십시오.

Extracting Spark tar ( 스파크 tar 추출 )

스파크 타르 파일을 추출하기 위한 다음 명령이다.

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

Moving Spark software files ( 스파크 소프트웨어 파일 이동 )

스파크 소프트웨어 파일을 각 디렉토리(/usr/local/spark)로 이동하기 위한 명령은 다음과 같다.

$ su –

Password:  

# cd /home/Hadoop/Downloads/

# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark

# exit

Setting up the environment for Spark ( 스파크 환경 설정 )

~/.bashrc 파일에 다음 줄을 추가한다. 그것은 PATH 변수에 스파크 소프트웨어 파일이 위치한 위치를 추가하는 것을 의미한다.

export PATH=$PATH:/usr/local/spark/bin

~/.bashrc 파일의 소스는 다음 명령을 사용한다.

$ source ~/.bashrc

Step 7: Verifying the Spark Installation ( 스파크 설치 검증 )

스파크 셸을 열기 위해 다음 명령을 작성한다.

$spark-shell

스파크가 성공적으로 설치되면 다음 출력을 찾을 수 있을 것이다.

Spark assembly has been built with Hive, including Datanucleus jars on classpath

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop

15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop

15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;

   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)

15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server

15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.

Welcome to

      ____              __

     / __/__  ___ _____/ /__

    _\ \/ _ \/ _ `/ __/  '_/

   /___/ .__/\_,_/_/ /_/\_\   version 1.4.0

      /_/  

                

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)

Type in expressions to have them evaluated.

Spark context available as sc  

scala>