jisoleil's coding good thing

Bidirectional(양방향) layer 순방향(왼쪽에서 오른쪽)으로 정보를 추출하지만 역방향의으로도 정보를 추출해서 이용할 수 있다. 이를 양방향 레이어라고 한다. 일반적으로 양방향 layer을 사용할 경우 시퀀스 데이터에서 더 많은 정보를 추출할 수 있기 때문에 성능이 더 좋게 나타난다. 1번은 순방향 LSTM으로 마지막 시점 정보에는 과거의 기억 '맥락'이 포함되어 있다. 2번은 양방향 LSTM으로 빨강색 정방향 첫번째 시점엔 첫기억이 있으며, 마지막 시점엔 마지막 기억과 과거 기억이 포함되어 있다(최신 정보를 '과거의 맥락'을 고려하여 반영). 파랑색 역방향 첫번째 시점엔 첫기억과 함께 과거기억(우리 기준엔 미래) 포함되어 있다(첫 시점의 정보를 미래의 맥락을 고려하여 반영), 마지막 시점엔 ..

RNN(바닐라 RNN)의 단점 출력 결과가 이전의 계산 결과에 의존하기 때문에 비교적 짧은 시퀀스(sequence)에 대해서만 효과를 보이는 단점이 있다. 즉, 중요한 정보가 앞에 있다면 뒤로 갈수록 앞에 있는 중요한 정보가 손실되고, 시점이 충분히 긴 상황에서는 앞에 있는 정보가 전체 정보에 대한 영향력은 거의 의미가 없을 수도 있다. => 장기 의존성 문제(the problem of Long-Term Dependencies) 라고 함 LSTM(장단기 메모리, Long Short-Term Memory) : 전통적인 RNN의 위와 같은 단점을 보완하였으며 RNN과 비교하여 긴 시퀀스의 입력을 처리하는데 탁월한 성능을 보인다. RNN의 특징을 전부 가지고 있으면서+ '기억을 생성하고, 유지하고, 보수하는'..

NLP(자연어 처리, natural language processing ) :자연어(natural language)란 우리가 일상 생활에서 사용하는 언어, 자연어 처리(natural language processing)란 이러한 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일을 말합니다. 음성 인식, 내용 요약, 번역, 사용자의 감성 분석, 텍스트 분류 작업(스팸 메일 분류, 뉴스 기사 카테고리 분류), 질의 응답 시스템, 챗봇과 같은 곳에서 사용되는 분야이다. RNN(순환 신경망: Recurrent Neural Network): 입력과 출력을 시퀀스 단위로 처리하는 시퀀스(Sequence) 모델입니다. RNN은 가장 기본적인 인공 신경망 시퀀스 모델이다. 메모리 셀(RNN 셀): RNN에서..