AI

[논문] 오토인코더 - Training Deep AutoEncoders for Collaborative Filtering

논문 arxiv.org/pdf/1708.01715.pdf 코드 https://github.com/NVIDIA/DeepRecommender Training Deep AutoEncoders for Collaborative Filtering 개인적 요약 인코더와 디코더를 사용하는 구조이다. 인코더와 디코더는 서로의 구조가 미러링 되어있다. 입력을 받으면 인코더를 거치며 차원을 줄여 z를 만든 후 z를 디코더에 넣어 다시 원복하는 과정을 거친다. 이 과정을 거치면 sparse하던 데이터가 dense하게 바뀌는 원리이다. 따라서 차원축소로도 볼 수 있다. f를 모델, 활성함수라고 했을 때 f(x) = y이다. 출력은 입력을 최대한 원상복귀해야 하기에 수식상 f(x) = x를 만족시켜야 하며 즉 f(y) = y를 ..

(진행중)Transformer : Attention Is All You Need 리뷰

논문 : arxiv.org/pdf/1706.03762v5.pdf 코드 : https://tutorials.pytorch.kr/beginner/transformer_tutorial.html Attention Is All You Need NLP : (RNN -> (LSTM) -> seq2seq -> attention -> transformer) Abstract 지배적인 순서 전래 모델은 복잡한 반복이나 인코더와 디코더를 포함하는 CNN에 기반을 둔다. 최고의 수행 모델은 또한 어텐션 방법을 통해 인코더와 디코더에 연결한다. 2 Background 순차계산을 줄이는 목표는 또한 Extended Neural GPU, ByteNet, ConvS2S의 기초를 형성하는데 이들은 빌딩블록에 기초를 둔 convoluti..

NN/DNN/CNN/RNN - 간단 개념과 사용 용어

신경망의 업그레이드(?) 순서 : NN -> MLP -> DNN ->CNN,RNN NN (Neural network) (ANN) NN은 인공 신경망의 의미를 가지고 있다. 이는 사람의 뉴런을 묘사하여 만든 알고리즘으로 딥러닝의 기초가 된다. 이론적으로는 일정 임계값을 넘으면 값을 전달하는 구조로 되어있다. 기본 모양은 다음과 같다. input 과 output 사이에 은닉층(hidden layer, 히든레이어)의 구조를 가지고 있다. 히든 레이어를 통과하며 활성화 함수를 통해 weight와 bias값을 찾아 예측을 하는 방법이다. Perceptron (퍼셉트론) NN에서 히든 레이어가 하나인 신경망 구조이다. 이 구조는 AND와 OR의 문제만 풀 수 있고 XOR의 문제를 해결할 수 없다. MLP (Mult..

(진행중)DETR : End-to-End Object Detection with Transformers 리뷰

논문 : arxiv.org/pdf/2005.12872v3.pdf End-to-End Object Detection with Transformers 2020 5월에 페이스북 리서치팀에서 발표한 object detection 논문이다. Abstract. 직접 디자인하는 요소를 없앴다. 예를 들어 복잡한 인코딩이나 사전 지식을 겸해야 하는 non-maximum suppression, anchor generation 등을 말이다. 메인은 DETR : DEtection TRansformer이다. 전역 loss를 기반으로 이분 매칭을 통해 고유 예측값을 강제한다. 그리고 인코더, 디코더 결과를 transform 한다. 예측 값은 병렬로 출력한다. 이는 개체의 관계와 전역 이미지 간으로 표현된다. 1. Introdu..