Spark

[Scala] 조건문 == 실수

when == 문자열 ( lit ) -> '===' 형태로 넣어줘야 한다. when(col("english") === "A", lit("a"))

[SQL] 기본

내부 처리 순서 where -> group by -> having -> select -> order by - 전체 데이터프레임에서 행 정리한 다음에 - 묶고 - 묶은 데이터프레임에서 조건 걸어 다시 행 정리하고 - 출력할 열(컬럼) 정하고 - 순서 맞춰 출력 사용 함수 SELECT / FROM / WHRER / GROUP BY+HAVING / ORDER BY COUNT / AVG / SUM / MIN / MAX / ROUND / +(문자열) / yyyy_mm_dd(날짜) DISTINCT / BETWEEN / AND / OR / CASE(WHEN,THEN,ELSE,END) / (서브쿼리) FROM,INNER JOIN,ON / LEFT,RIGHT JOIN / JOIN / UNION / UNION ALL / ..

[Scala] 함수 및 연산 모음

공식문서spark.apache.org/docs/2.1.0/api/java/overview-summary.html 스파크 날짜 관련 함수medium.com/expedia-group-tech/deep-dive-into-apache-spark-datetime-functions-b66de737950a 참고할 자료  wikidocs.net/book/1686 다양한 연산  eyeballs.tistory.com/84 java.time.LocalDateTime 형식LocalDate.now(); // 오늘 LocalDateTime.now(); // 지금 LocalDate.of(2015, 4, 17); // 2015년4월17일 LocalDateTime.of(2015, 4, 17, 23, 23, 50); // 2015년4월..