히히

[Scala] 조건문 == 실수

when == 문자열 ( lit ) -> '===' 형태로 넣어줘야 한다. when(col("english") === "A", lit("a"))

파이썬 : 정규표현식

정규 표현식 사용 방법을 알아내는 대로 추가한다. re.sub("변형할 대상 공식", "변형 결과", 변형할 대상 데이터) 함수를 사용하며, re를 먼저 임포트한다. import re 이후 "변형할 대상 공식" 에 대입되는 공식들이다. yellow를 대상으로 예시를 작성하며, 공식들은 첫번째 인자에 아래 형태를 따라 입력된다. re.sub(r"" , "", data) 공식 입력 설명 [ ] [ab] a 혹은 b - [a-c] a - c 사이 문자 중 하나 | yelloo | yelllw yelloo 혹은 yelllw \W non alpha numeric 0-9, a-z, A-Z 제외 [^(맨앞) ] [^ab] a와 b를 제외 () 와 \숫자 (r"(\W)", \1, "a!b") -> "!" '숫자'번째 ..

NIC : 이미지 문장 번역

Show and Tell: A Neural Image Caption Generator 논문 :https://arxiv.org/abs/1411.4555 영상 : https://www.youtube.com/watch?v=yfsFW-mfOEY&t=146s (동빈나) 1. 모델 설명 이미지를 글로 번역하여 출력하는 기술이다. CNN + RNN 형태로 이루어져 있다. 여기서 rnn은 LSTM을 사용한다. (2015 논문이며 그당시 최고의 번역모델.) [ CNN ] -> context vextor(고정크기) -> [ RNN ] 형태 히든 스테이트 : 이전에 처리한 정보와, 지금 들어온 입력을 sigmoid 한 것. 히든 스테이트도 입력과 같은 차원을 가진다 (?) 출력 : FC를 거쳐 스팸 여부 (binary)를 ..

텐서플로우 v2

tensorflow : https://www.tensorflow.org/?hl=ko tensorflow 홈페이지 스타트 코드 https://colab.research.google.com/github/tensorflow/docs/blob/master/site/en/tutorials/quickstart/advanced.ipynb?hl=ko 데이터 처리 tf.data.Dataset.from_tensor_slices train_ds = tf.data.Dataset.from_tensor_slices((x_train, y_train)).shuffle(10000).batch(32) test_ds = tf.data.Dataset.from_tensor_slices((x_test, y_test)).batch(32) # d..

Attention : NEURAL MACHINE TRANSLATIONBY JOINTLY LEARNING TO ALIGN AND TRANSLATE

Attention : NEURAL MACHINE TRANSLATIONBY JOINTLY LEARNING TO ALIGN AND TRANSLATE 논문 : https://arxiv.org/pdf/1409.0473.pdf 텐서플로우 코드 : https://www.tensorflow.org/tutorials/text/nmt_with_attention https://colab.research.google.com/github/tensorflow/tensorflow/blob/master/tensorflow/contrib/eager/python/examples/nmt_with_attention/nmt_with_attention.ipynb#scrollTo+yJ_B3mhW3jFk 코드2 : https://github.c..

[Seq2Seq] Sequence to Sequence Learning with Neural Networks

https://arxiv.org/abs/1409.3215 (+2020기준 가장 좋은 모델은 s2s가 아닌 transformer기반이다.) Sequence to Sequence Learning with Neural Networks Deep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot be used to map sequences to sequences. In this pap arxiv.org 이전 ..

[SQL] 기본

내부 처리 순서 where -> group by -> having -> select -> order by - 전체 데이터프레임에서 행 정리한 다음에 - 묶고 - 묶은 데이터프레임에서 조건 걸어 다시 행 정리하고 - 출력할 열(컬럼) 정하고 - 순서 맞춰 출력 사용 함수 SELECT / FROM / WHRER / GROUP BY+HAVING / ORDER BY COUNT / AVG / SUM / MIN / MAX / ROUND / +(문자열) / yyyy_mm_dd(날짜) DISTINCT / BETWEEN / AND / OR / CASE(WHEN,THEN,ELSE,END) / (서브쿼리) FROM,INNER JOIN,ON / LEFT,RIGHT JOIN / JOIN / UNION / UNION ALL / ..

[Scala] 함수 및 연산 모음

공식문서spark.apache.org/docs/2.1.0/api/java/overview-summary.html 스파크 날짜 관련 함수medium.com/expedia-group-tech/deep-dive-into-apache-spark-datetime-functions-b66de737950a 참고할 자료  wikidocs.net/book/1686 다양한 연산  eyeballs.tistory.com/84 java.time.LocalDateTime 형식LocalDate.now(); // 오늘 LocalDateTime.now(); // 지금 LocalDate.of(2015, 4, 17); // 2015년4월17일 LocalDateTime.of(2015, 4, 17, 23, 23, 50); // 2015년4월..

[환경] 딥러닝 RAM 부족, 메모리 부족

메모리 확인: nvidia-smi 방법 1. 배치를 나눈다. 방법 2. 모든 업무를 gpu로 하지 않을수 있다. 기타 잡 업무는 cpu로 처리를 하고 나머지 중요한 연산을 gpu로 진행하도록 조절한다.(코드로. with tf.device ??) import os # GPU를 아예 못 보게 하려면: os.environ["CUDA_VISIBLE_DEVICES"]='' # GPU 0만 보게 하려면: os.environ["CUDA_VISIBLE_DEVICES"]='0' # GPU 1만 보게 하려면: os.environ["CUDA_VISIBLE_DEVICES"]='0' # GPU 0과 1을 보게 하려면: os.environ["CUDA_VISIBLE_DEVICES"]='0,1' #출처: https://datamas..

백준 1149번 : RGB거리 (Python)

문제 : www.acmicpc.net/problem/1149 1149번: RGB거리 첫째 줄에 집의 수 N(2 ≤ N ≤ 1,000)이 주어진다. 둘째 줄부터 N개의 줄에는 각 집을 빨강, 초록, 파랑으로 칠하는 비용이 1번 집부터 한 줄에 하나씩 주어진다. 집을 칠하는 비용은 1,000보다 작거나 www.acmicpc.net 풀이 다른 사람의 풀이를 참고했다. dp에 값을 1개씩이 아닌 3개씩 저장한다. 반복문을 돌며 해당 위치(i)에서 R,G,B 로 각각 칠했을 때를 dp에 리스트로 저장한다. 즉 dp에는 지금까지 더한 값(dp) 중 i-1에서 R위치를 제외하고 가장 작은 값 + i에서 R로 칠할 경우를 B, G도 똑같이 수행한뒤 추가한다. n = int(input()) cost = [] for i ..