Program

[Docker] 도커로 MySQL 사용하기

1. Mysql 이미지 다운 $ docker pull mysql // mysql:태그 를 지정해주지 않으면 가장 최신 버전이 다운로드된다. 2. 만든 이미지로 컨테이너 생성 및 실행하기 $ docker run --name test-mysql -e MYSQL_ROOT_PASSWORD=mysql1234 -d -p 3306:3306 mysql:latest --name {컨테이너명} : 컨테이너명 지정 -e : 환경설정 / 비밀번호 지정하기 -d : 백그라운드 실행하기 (데몬 모드) 3. Mysql 접속하기 $ docker exec -it test-mysql bash 3-1) 여기서 관리자 권한으로 접속하기 $ mysql -u root -p $ 설정한 비밀번호 입력 3-2) 조작하기 여기부터 Mysql 코드를 ..

[EC2] EC2 서버 접속

맥, 리눅스를 위한 접속 방법이다. 윈도우 유저는 PuTTy를 사용해야 한다. 터미널에 접속하여 1. pem 파일이 위치한 경로로 이동 $ cd ~~~~~~~~~~~~~~ 2. 서버 접속 $ ssh -i {key_file.pem} ubuntu@{'ip주소' OR 'DNS주소'} 권한이 넘 열려있어 warning이 뜰 수 있음 (ls -al 명령어를 통해 권한 확인 가능) 2-1) 권한 변경하기 $ chmod 400 $ ls -al ls -al을 통해 소유자만 read 할 수 있도록 권한이 변경됨을 확인할 수 있다. 한번 더 $ ssh -i {key_file.pem} ubuntu@{'ip주소' OR 'DNS주소'} 3. 호스트서버 확인 $ hostname 서버에 접속됨을 확인할 수 있다.

[EC2] EC2 새로운 인스턴스 생성하기

EC2는 AWS내에서 컴퓨팅 리소스를 사용할 수 있는 서비스이다. 인스턴스 만들기 1. 지역 선택 및 launch instance or 설정하기 (Launch an instance) 2. Name and tags 3. Application and OS images 더보기 OS는 우분투, AMI는 18.04LTS 버전을 사용함 3. Instance type 4. Key pair 5. Network settings 더보기 새로운 키페어를 생성해주었다. 6. Configure storage 7. Advanced details 8. Summary 설정이 완료되었다. 런치한다! Details Instance ID Succeccfully initiated of instance (i-~~~~~~~~~~~~) 인스턴스..

[Docker] 도커 설치하기

https://docs.docker.com/engine/install/ubuntu/#install-using-the-repository 를 따르면 돈을 낸다 한다. 아래처럼 한다. 설치 1. 우분투에접속 이 때, 만약 윈도우라면 WSL 설치가 필요하다. (WSL 설치하기) 2. 업데이트 sudo apt update 3. 도커 io 설치 sudo apt install docker.io -y 접속 1. 데몬 실행 데몬 도커 서버가 켜져 입력을 받을 수 있도록 준비된 상태를 말한다. 따라서 도커 사용을 위해서는 먼저 데몬을 실행해야 한다. sudo dockerd 위 명령어를 입력하면 데몬이 실행되고 커서가 깜박이는 상태가 된다. 이 상태에서 새 터미널을 열고 도커 명령어를 입력하면 도커를 사용할 수 있게 된다..

[Docker] 맥에 MSSQL 설치하기

맥OS에서는 SQL Server 지원이 안된다고? 한다. SSMS (SQL Server 관리하는 툴) 또한 지원이 안된다. 따라서 도커를 사용하여 mssql 을 설치하도록 한다. 1. 도커 다운로드 https://www.docker.com/products/docker-desktop/ 2. 터미널에서 mssql 이미지 다운로드 $ docker pull mcr.microsoft.com/azure-sql-edge:latest 3. 컨테이너 만들기 마찬가지로 터미널에 아래 명령어를 입력하여 컨테이너를 생성한다. 이때 DB에 접속 시 사용하는 DB 서버 이름과, 비밀번호를 설정하는데 부분엔 설정할 비밀번호를, 부분엔 설정할 DB 이름을 입력하여 생성한다. $ docker run -e 'ACCEPT_EULA=Y' ..

[GitLab] CI/CD 사용하기

실습해본 링크 : https://gitlab.com/baeksh0420/sagemaker_test 목표 깃랩에 모델 작성 도커 이미지 생성 commit으로 깃랩의 CI/CD 실행 AWS의 ECR로 생성된 도커 이미지 전송 필요한 파일의 구조는 아래와 같다. .gitlab-ci.yml : CI/CD를 실행 시킨다. 또한 ECR과 연결되도록 한다. Dockerfile : 도커 이미지를 생성한다. .py및 data파일에 모델 학습에 필요한 코드, 데이터가 포함된다. .gitlab-ci.yml # Simple example of CI to build a Docker container and push it to Amazon ECR variables: DOCKER_REGISTRY: 426872458034.dkr.e..

[SageMaker] 학습, 배포, 모니터링 하기

사용 요약 1. 모델을 컨테이너에 담는다 2. sagemaker.Session() 3. sagemaker.estimator.Estimator(container, ) 4. set_hyperparameters() 5. fit() 6. deploy() 7. predict() 사용 1. 학습할 모델을 담은 노트북은 컨테이너에 담는다. 즉 알고리즘을 담는다. 2. sess = sagemaker.Session() 으로 세션을 연다. 3. 다른 노트북에서 modelll = sagemaker.estimator.Estimator(container, ...) 를 실행한다. ECR에 담긴 알고리즘을 이미지에 대한 url 주소로 가져와 사용하는것이다. 더보기 이미 만들어진 모델이나 이미지 활용 시엔 아래 네가지 방법을 참고한..

[Github/Colab] SSH 키 발급 & colab에 Git 클론

깃허브의 private repository를 코랩에 클론하기 위한 방법이다. SSH 키를 발급받아 등록하는 방식을 사용한다. public repository 연동 : 2022.04.30 - Colab과 github 연동 SSH 키 발급 방법 1. 코랩에 들어간다. 2. ssh-keygen 을 입력한다. !ssh-keygen 3. 키가 저장된 곳으로 접근하고 %cd ~/.ssh/ 4. 저장된 공개키를 불러온다. 공개키는 id_rsa.pub이며, 개인키는 id_rsa이다. ! cat id_rsa.pub Git에 키 등록 후 클론 1. 깃허브에 해당 공개키를 복사하여 등록한다. 2. known_hosts에 깃주소를 등록한다. !ssh-keyscan -t rsa github.com >> ~/.ssh/known_..

[Github] Github 계정 인증 오류 : github 토큰 발급

github에 push시 계정 인증 오류가 날 경우 해결 방법을 찾는다. 이 경우, 토큰을 발급받아 비밀번호 대신 사용해야 한다! 참고 링크 : [Mac] GitHub push token 오류 해결 2. 토큰 발급 후 -> 3. 터미널에 입력한다. 1. 깃허브 설정에서 personal access token 에 들어간다. 아래 이미지 순서대로 클릭 2. 새 토큰을 생성한다. Generate new token 클릭 Note 입력, 만료 날짜 선택 아무 이름이나 넣고, 만료되지 않도록 해버렸다. 깃허브는 만료 날짜를 지정하는 것을 추천하긴 한다. 접근 범위 선택 나중에 귀찮아질까봐 다 체크했다. 생성된 토큰 번호 복사 3. 토큰을 사용한다. 맥북 키체인에서 github 로그인 정보를 삭제해야 한다하지만, 나..

[Github/Colab] Colab과 github 연동

google drive에 올려진 파일을 github와 연동해서 쓰려고 한다. 순서는 크게 아래 3단계를 따른다. 이는 public repository와 구글 드라이브를 연동하기 위한 방법이며, private 연동 방법은 링크 에서 확인할 수 있다. 1. 접근을 위해 깃허브에서 토큰을 발급받아야 한다. 깃허브 계정 Setting 에 들어가서 아래 순서로 접근하면 발급받을 수 있다. 자세한 가이드가 필요하다면 이걸 따라하면 된다 : Github 계정 인증 오류 : github 토큰 발급 2. 연결할 repository의 주소를 복사한다. 3. 코랩에서 아래 명령어를 실행한다. 1) 깃을 클론할 상위 폴더로 경로 이동 (clone 시 상위폴더/깃레포지토리 형태가 되기 때문!) %cd /content/drive..