히히

[GitLab] CI/CD 사용하기

실습해본 링크 : https://gitlab.com/baeksh0420/sagemaker_test 목표 깃랩에 모델 작성 도커 이미지 생성 commit으로 깃랩의 CI/CD 실행 AWS의 ECR로 생성된 도커 이미지 전송 필요한 파일의 구조는 아래와 같다. .gitlab-ci.yml : CI/CD를 실행 시킨다. 또한 ECR과 연결되도록 한다. Dockerfile : 도커 이미지를 생성한다. .py및 data파일에 모델 학습에 필요한 코드, 데이터가 포함된다. .gitlab-ci.yml # Simple example of CI to build a Docker container and push it to Amazon ECR variables: DOCKER_REGISTRY: 426872458034.dkr.e..

[SageMaker] 학습, 배포, 모니터링 하기

사용 요약 1. 모델을 컨테이너에 담는다 2. sagemaker.Session() 3. sagemaker.estimator.Estimator(container, ) 4. set_hyperparameters() 5. fit() 6. deploy() 7. predict() 사용 1. 학습할 모델을 담은 노트북은 컨테이너에 담는다. 즉 알고리즘을 담는다. 2. sess = sagemaker.Session() 으로 세션을 연다. 3. 다른 노트북에서 modelll = sagemaker.estimator.Estimator(container, ...) 를 실행한다. ECR에 담긴 알고리즘을 이미지에 대한 url 주소로 가져와 사용하는것이다. 더보기 이미 만들어진 모델이나 이미지 활용 시엔 아래 네가지 방법을 참고한..

[Github/Colab] SSH 키 발급 & colab에 Git 클론

깃허브의 private repository를 코랩에 클론하기 위한 방법이다. SSH 키를 발급받아 등록하는 방식을 사용한다. public repository 연동 : 2022.04.30 - Colab과 github 연동 SSH 키 발급 방법 1. 코랩에 들어간다. 2. ssh-keygen 을 입력한다. !ssh-keygen 3. 키가 저장된 곳으로 접근하고 %cd ~/.ssh/ 4. 저장된 공개키를 불러온다. 공개키는 id_rsa.pub이며, 개인키는 id_rsa이다. ! cat id_rsa.pub Git에 키 등록 후 클론 1. 깃허브에 해당 공개키를 복사하여 등록한다. 2. known_hosts에 깃주소를 등록한다. !ssh-keyscan -t rsa github.com >> ~/.ssh/known_..

OpenCV : 마우스 좌표 출력하기

1. OpenCV 설치 pip install opencv-python 2. 아래 블로그에 코드가 아주 잘 나와있음..! https://dk-kang.tistory.com/entry/OpenCV-%EC%98%81%EC%83%81%EC%9D%B4%EB%AF%B8%EC%A7%80-%EB%8B%A4%EB%A3%A8%EA%B8%B07%EB%A7%88%EC%9A%B0%EC%8A%A4-%ED%95%A8%EC%88%98 OpenCV - 영상(이미지) 다루기(6)_(마우스 함수) 예제 영상 파일 예제 파일은 아무 이미지 파일로 사용하셔도 됩니다. 저는 귀여운 강아지 초코로 진행해볼 예정입니다. 파일을 다운받으셔서 같은 환경(실행하는 파이썬 디렉터리)에 저장을 시 dk-kang.tistory.com 3. 참고 opencv..

[Openpose] 오픈소스 사용

Pose Estimation 의 한 분야이며, 사람의 마디를 정확히 예측한다.즉 사람의 스켈레톤을 뽑아내는 모델이다. 가장 알려진? openpose 모델은 COCO18, BODY-25, MPII 이다.세 개 모델은 뽑는 골격의 개수가 다르다. 각각 18개, 25개, 15개의 골격 포인트를 추출한다.    사실 나는 CP-VTON 진행 중 알게된 부분이다.위 모델에는 다음과 같은 학습 데이터를 필요로 한다.옷 이미지해당 옷을 입은 사람 이미지옷 이미지 segmentation 결과사람의 keypoint여기서 사람의 keypoint 가 사람의 골격 포인트에 해당한다. 즉 openpose를 사용해서 뽑아야 하는 정보이다.  내가 사용한 CP-VTON 오픈소스 코드에는 테스트용 파일이 들어있는데,keypoint ..

[Github] Github 계정 인증 오류 : github 토큰 발급

github에 push시 계정 인증 오류가 날 경우 해결 방법을 찾는다. 이 경우, 토큰을 발급받아 비밀번호 대신 사용해야 한다! 참고 링크 : [Mac] GitHub push token 오류 해결 2. 토큰 발급 후 -> 3. 터미널에 입력한다. 1. 깃허브 설정에서 personal access token 에 들어간다. 아래 이미지 순서대로 클릭 2. 새 토큰을 생성한다. Generate new token 클릭 Note 입력, 만료 날짜 선택 아무 이름이나 넣고, 만료되지 않도록 해버렸다. 깃허브는 만료 날짜를 지정하는 것을 추천하긴 한다. 접근 범위 선택 나중에 귀찮아질까봐 다 체크했다. 생성된 토큰 번호 복사 3. 토큰을 사용한다. 맥북 키체인에서 github 로그인 정보를 삭제해야 한다하지만, 나..

[Github/Colab] Colab과 github 연동

google drive에 올려진 파일을 github와 연동해서 쓰려고 한다. 순서는 크게 아래 3단계를 따른다. 이는 public repository와 구글 드라이브를 연동하기 위한 방법이며, private 연동 방법은 링크 에서 확인할 수 있다. 1. 접근을 위해 깃허브에서 토큰을 발급받아야 한다. 깃허브 계정 Setting 에 들어가서 아래 순서로 접근하면 발급받을 수 있다. 자세한 가이드가 필요하다면 이걸 따라하면 된다 : Github 계정 인증 오류 : github 토큰 발급 2. 연결할 repository의 주소를 복사한다. 3. 코랩에서 아래 명령어를 실행한다. 1) 깃을 클론할 상위 폴더로 경로 이동 (clone 시 상위폴더/깃레포지토리 형태가 되기 때문!) %cd /content/drive..

파이토치 기초

공부 링크 : https://www.youtube.com/watch?v=C1P7PaIeKvU https://computistics.tistory.com/category/Pytorch/Tutorials Tensor와 연산 a.함수_ _가 뒤에 붙으면, 함수 결과가 'a=' 없이 자동으로 a에 저장 Autograd 자동미분. 역전파를 위한 미분값을 자동으로 계산 class : Function 클래스 grad 레이어에 대한 미분값 저장 grad_fn 어떤 함수에 대해 미분 계산(역전파 실행)을 했는지 저장 requires_grad =True 로 설정하면 해당 텐서의 연산 추적 시작 backward() 계산 완료 후 호출하면, 자동으로 gradient를 계산하며 grad에 누적됨 배열을 인자로 넣게되면, bac..

[Github] 깃 초간단 내용 요약

깃이란? 프로젝트의 관리나 롤백 등을 용이하게 하기 위해 사용하는 프로그램이다. 깃을 공유하기 위해서는 깃허브나 깃랩등의 서비스를 사용한다. 1) 깃 간단 구조 우선 내 폴더에 프로젝트를 생성해서 코드를 구현해나간다. 이때 저번에 쓴 코드로 돌아가고 싶거나, 많은 사람이 한 프로젝트를 같이 진행하고 싶을텐데. 이걸 깃이 해결해준다. 2) 깃의 기본 진행 - 프로젝트를 진행하며 파일을 생성한다. - 스테이지에 올린다. - 커밋한다. - 원격 저장소에 푸시한다. 3) 깃의 대표 명령어 cd C:\Users\IME17\Desktop\PatternRecognition #주어진 폴더로 이동한다 git clone https://github.com/BaekSohyeon0420/Quiz.git #해당 폴더에 Quiz ..

[환경] CUDA 설치

빠른 학습을 위해선 GPU를 사용해야 한다. 서버를 (ex.코랩) 사용하면 더 편리하지만, 오늘은 로컬의 GPU를 사용하려 한다. 그렇기에 cuda 연결을 위해 환경 설정 방법을 작성한다. 1. Nvidia Driver 다운 https://www.nvidia.co.kr/Download/Find.aspx?lang=kr 2. Cuda Toolkit 다운 쿠다를 다운받을것이다. 이때 버전 확인을 잘해줘야 하는데, 이후 3. cudnn을 다운받을 때 Cuda 버전이 호환되도록 다운받는다. (터미널에서 nvidia-smi를 입력하면 cuda버전이 뜬다. 혹시 몰라 이 버전(11.4) 그대로 다운받으려 한다.) cudnn 링크 이제 버전 확인을 마쳤으니, 이 사이트에서 맞는 쿠다 버전을 선택하여 다운받는다. 자신의..