AI/Tip!

[환경] CUDA 설치

빠른 학습을 위해선 GPU를 사용해야 한다. 서버를 (ex.코랩) 사용하면 더 편리하지만, 오늘은 로컬의 GPU를 사용하려 한다. 그렇기에 cuda 연결을 위해 환경 설정 방법을 작성한다. 1. Nvidia Driver 다운 https://www.nvidia.co.kr/Download/Find.aspx?lang=kr 2. Cuda Toolkit 다운 쿠다를 다운받을것이다. 이때 버전 확인을 잘해줘야 하는데, 이후 3. cudnn을 다운받을 때 Cuda 버전이 호환되도록 다운받는다. (터미널에서 nvidia-smi를 입력하면 cuda버전이 뜬다. 혹시 몰라 이 버전(11.4) 그대로 다운받으려 한다.) cudnn 링크 이제 버전 확인을 마쳤으니, 이 사이트에서 맞는 쿠다 버전을 선택하여 다운받는다. 자신의..

[데이터 전처리] 학습 전 데이터 처리

컬럼 중 특정 데이터 타입을 가진 컬럼 추출하기 list(data.select_dtypes(['object']).columns) #or data.columns.to_series().groupby(data.dtypes).groups 범주형 데이터를 인덱스로 라벨링 from sklearn.processing import LabelEncoder model = LabelEncoder() model.fit(data.column_str) data.column_int = model.transform(data.column_str) 테스트 데이터 분리 from sklearn import * X_train, y_train, X_test, y_test = model_selection.train_test_split(data_..

[장비] 딥러닝 환경 구축하기 : CPU 환경

코랩만 쓰다가 로컬 환경을 만들어야 하는 일이 생겼다. GPU가 없는 상황이라 작은 데이터 셋만 실험할 생각으로 CPU에 환경을 구축해본다. 1. 아나콘다 설치 버튼을 통해 간단히 다운로드한다. https://www.anaconda.com/products/individual Anaconda | Individual Edition Anaconda's open-source Individual Edition is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com 아나콘다 설치 시 Jupyter Notebook도 자동으로 같이 설치가 된다. 이 뒤로는, Anaconda P..

[환경] 딥러닝 RAM 부족, 메모리 부족

메모리 확인: nvidia-smi 방법 1. 배치를 나눈다. 방법 2. 모든 업무를 gpu로 하지 않을수 있다. 기타 잡 업무는 cpu로 처리를 하고 나머지 중요한 연산을 gpu로 진행하도록 조절한다.(코드로. with tf.device ??) import os # GPU를 아예 못 보게 하려면: os.environ["CUDA_VISIBLE_DEVICES"]='' # GPU 0만 보게 하려면: os.environ["CUDA_VISIBLE_DEVICES"]='0' # GPU 1만 보게 하려면: os.environ["CUDA_VISIBLE_DEVICES"]='0' # GPU 0과 1을 보게 하려면: os.environ["CUDA_VISIBLE_DEVICES"]='0,1' #출처: https://datamas..