SPARK(1)-환경 구축

SPARK 공부하기 (1) 환경구축

 

Spark 설치 하기

 
​x
ecilpse 에서 gradle 을 이용하여 spark를 위한 scala 로된 프로젝트를 준비하기 !! 

 

1. Scala 프로젝트 gradle 이클립스에 설치하기

 

eclipse 사전 설치 해야 할 플러그인

 
x
Scala plugin 설치 
​
Gradle

File -> new -> Other ->Gradle

 

 

위의 화면 대로 next 를 누르다가 ProjectName을 적어주고 다음 다음 누르고 Finish를 누르면 된다.

그럼 아래와 같은 프로젝트가 생성이 된다.

 

 

 

build.gradle 파일을 선택하게 되면 다음과 같은 초기 코드가 나온다

 

 

기존의 코드가 무엇인지 궁금하여 찾아봤는데,

• repositories -> jcenter

 
xxxxxxxxxx
repositories{
    jcenter()
}

jcenter 란

jcenter는 공개 소스 라이브러리 게시자에게 무료로 제공되는 bintray에서 호스팅되는 공개 저장소입니다. Maven Central에서 jcenter를 사용하는 데에는 여러 가지 이유가 있습니다. 다음은 주요 기능 중 일부입니다.

1. jcenter는 CI 및 개발자 빌드의 개선을 의미하는 CDN을 통해 라이브러리를 제공합니다.
2. jcenter는 지구상에서 가장 큰 Java 저장소입니다. 즉, Maven Central에서 사용할 수있는 것은 jcenter에서도 사용할 수 있습니다.
3. bintray에 자신의 라이브러리를 업로드하는 것은 매우 쉽습니다. Maven Central에서 서명하거나 복잡한 작업을 수행 할 필요가 없습니다.
4. 친숙한 UI 라이브러리를 Maven Central에 업로드하려는 경우 bintray 사이트를 한 번의 클릭으로 쉽게 할 수 있습니다.

참고 : http://code.i-harness.com/ko/q/17f906f

• apply plugin : ' PluginName '

  : ''PluginName" 을 Gradle 플래그인으로 적용

• dependencies : 의존성 관리로 사용될 외부 라이브러리에 대한 의존성을 설정 하는 부분

  의존성을 jcenter에서 받아온다면 repository 에 jcenter를 추가 해주고, maven repository에서 의존성을 받아온다면 mavenCntral()를 추가 해주면된다.

 

 

저는 jcenter 보다 maven Repository를 많이 사용하기 때문에 maven repository를 추가 하였습니다.

 

 
xxxxxxxxxx
/*
 * This build file was generated by the Gradle 'init' task.
 *
 * This generated file contains a sample Java Library project to get you started.
 * For more details take a look at the Java Libraries chapter in the Gradle
 * user guide available at https://docs.gradle.org/4.3/userguide/java_library_plugin.html
 */
​
// Apply the java-library plugin to add support for Java Library
apply plugin: 'java-library'
​
apply plugin: 'scala'
apply plugin: 'eclipse'
​
// In this section you declare where to find the dependencies of your project
repositories {
    // Use jcenter for resolving your dependencies.
    // You can declare any Maven/Ivy/file repository here.
    mavenCentral()
    mavenLocal()
    
}
​
dependencies {
    // This dependency is exported to consumers, that is to say found on their compile classpath.
    compile group: 'org.apache.commons', name: 'commons-math3', version: '3.6.1'
​
    // This dependency is used internally, and not exposed to consumers on their own compile classpath.
    compile group: 'com.google.guava', name: 'guava', version: '23.0'
​
    // Use JUnit test framework
    testCompile group: 'junit', name: 'junit', version: '4.12'
    
    //input dependencies
    compile group: 'org.slf4j', name: 'slf4j-api', version: '1.7.5'
    compile group: 'org.scala-lang', name: 'scala-library', version: '2.11.2'
}
​
​

---

이후에는 프로젝트 디렉토리를 오른쪽 마우스를 눌러서

를 누르면 업데이트한 build.gradle 을 Refresh 해준다.

그럼 거의 세팅은 끝났고 이제 코드를 작성 해야하는데, 프로젝트 root 폴더에서 src/main/scala 디렉토리를 만들어준다.

그리고 Main.scala 라는 파일을 생성 한다.

 

Main.scala

 
xxxxxxxxxx
object Main {
  def main(args:Array[String]){
    print("Complete Gradle Scala Project");
  }
}

생성한 뒤 시작을 하게 되면

 

 

print문이 실행되는 것을 확인할 수 있다.

참고 사이트 :

http://techs.studyhorror.com/gradle-scala-eclipse-project-i-181

https://medium.com/@goinhacker/%EC%9A%B4%EC%98%81-%EC%9E%90%EB%8F%99%ED%99%94-1-%EB%B9%8C%EB%93%9C-%EC%9E%90%EB%8F%99%ED%99%94-by-gradle-7630c0993d09