jisoleil's coding good thing

RNN(바닐라 RNN)의 단점 출력 결과가 이전의 계산 결과에 의존하기 때문에 비교적 짧은 시퀀스(sequence)에 대해서만 효과를 보이는 단점이 있다. 즉, 중요한 정보가 앞에 있다면 뒤로 갈수록 앞에 있는 중요한 정보가 손실되고, 시점이 충분히 긴 상황에서는 앞에 있는 정보가 전체 정보에 대한 영향력은 거의 의미가 없을 수도 있다. => 장기 의존성 문제(the problem of Long-Term Dependencies) 라고 함 LSTM(장단기 메모리, Long Short-Term Memory) : 전통적인 RNN의 위와 같은 단점을 보완하였으며 RNN과 비교하여 긴 시퀀스의 입력을 처리하는데 탁월한 성능을 보인다. RNN의 특징을 전부 가지고 있으면서+ '기억을 생성하고, 유지하고, 보수하는'..