[개미의 걸음 ADsP 1과목 심화] Deep Learning 응용 알고리즘

RNN[Recurrent Neural Network]

히든 노드가 방향을 가진 엣지로 연결돼 순환구조[Directed Cyle]를 이루는 인공신경망의 종류

       → 반복적이며, 순차적인 데이터 학습에 특화된 인공신경망

음성, 문자 등 순차적으로 등장하는 데이터 처리에 적합한 모델

       → 최근 CNN[Convolutional Neural Network]와  더불어 각광 받는 알고리즘

시퀀스 길이에 관계없이 인풋과 아웃풋을 받아들일 수 있는 네트워크 구조

       → 필요에 따라 다양하고 유연하게 구조를 만들 수 있다는 장점

       → 데이터 길이가 가변적인 값을 취하는 신경망

 

     LSTM[Long Short Term Memory Network]

 RNN의 Vanishing Gradient Problem을 극복하기 위해 고안된 것

# Vanishing Gradient Problem

관련 정보와 그 정보를 사용하는 지점 사이의 거리가 멀 경우, 역전파시 그래디언트가 점차 줄어들어 학습능력이 크게 저하되는 현상

RNN의 히든 State에 Cell-state를 추가한 구조

       → Cell-state가 일종의 컨베이어벨트 역할을 하기 때문에 꽤 오랜시간이 경과하더라도 그래디언트가 비교적 잘 전파됨

 

     GRUs[Gated Recurrent Units]

초기의 weight가 계속 지속적으로 업데이트되는 것을 보완한 LSTM를 보완한 알고리즘

       → GRUs는 Update Gate와 Reset Gate를 추가해 어떻게 반영할 것인지 결정

       → Update Gate는 과거의 상태를 반영하는 Gate

           Reset Gate는 현시점 정보와 과거시점 정보의 반영 여부를 결정

GRUs의 장점	연산속도가 빠르며, 메모리가 LSTM처럼 덮여 씌여질 가능성이 없다.
GRUs의 단점	메모리와 결과값의 컨트롤이 불가능하다

 

 

AutoEncoder

 2006년 제프리 힌튼[Geoffrey Hinton]교슈가 제안한 대표적인 비지도 학습 방식

• 신경망이 다층인 경우 학습이 제대로 이루어지지 않는 문제를 극복하기 위해 제안된 방식
• 신경망의 각 층을 단계적으로 학습해나가, Output이 Input을 재현하도록 하는 것이 주된 특징
• 입력된 정보가 최대한 불완전한 부분이 없도록 변환하는 신경망

       → 입력과 출력층의 차원[노드의 개수]은 동일하되 은닉층[Hidden Layer]은 입력/출력층보다 차원이 낮아야 한다.

       → 은닉층 차원이 더 낮으므로 신경망은 입력 데이터들을 압축하여 이들로부터 특징을 추출하고,

          추출한 특징을 기반으로 입력을 최대한으로 재현한 출력 데이터를 내놓게 됨

       → AutoEncoder는 정보를 압축하는 역할

 

 

CNN[Convolutional Neural Network]

Convolution Layer와 Pooling Layer라는 신경망을 사용한 알고리즘

CNN은 입력을 나눠받는 것에 착안해 만든 것

이미지 인식에 높은 성능을 보임

하나의 이미지 파일을 픽셀 단위의 작은 여러 개의 조각으로 나누고 이것을 두 개, 세 개의 조각으로 필터를 묶어서 분석

•  고양이에게 특정형태 그림을 보여준 실험에서 그림을 읽어들이는 뉴런이 동시에 모두 동작하는 것이 아니라 특정 그림, 특정 부분에만 반응
• Convolution을 하고 RELU Function을 거친 뒤 Pooling을 할 수 있다.

Convolutional Layer	하나의 이미지를 잘라서 각각의 입력으로 넘기는 층
Pooling Layer	Resize, 즉 사이즈를 줄인 뒤 다시 쌓는 층

Convolution을 거친 값이 [0보다 크면 그 값이 출력/0보다 작으면 0]으로 바꿔줌

 

 

※ Convolution을 하고 Relu Function을 거친 뒤 Pooling할 수 있다.