스파크 SQL 을 파일로 보내기
coalesce(1) 을 해주는 이유는 RDD 로 분산되어있는 파티션을 하나로 모아주기 위해서
session.sql("select * from temp").coalesce(1).write().format("com.databriccks.spark.csv").option("header","true").csv("./data/morris.csv");
'BackEnd > Spark' 카테고리의 다른 글
SparkUI 에러 InjectionManagerFactory not found (0) | 2020.03.06 |
---|---|
[Spark] RDD Persistence 와 Caching (0) | 2020.03.05 |
java.io.InvalidClassException: org.apache.spark.rdd.RDD (0) | 2020.02.18 |
Spark History Server 실행 오류 시 (0) | 2020.02.10 |
SparkSession (0) | 2020.02.06 |