jisoleil's coding good thing

Bidirectional(양방향) layer 순방향(왼쪽에서 오른쪽)으로 정보를 추출하지만 역방향의으로도 정보를 추출해서 이용할 수 있다. 이를 양방향 레이어라고 한다. 일반적으로 양방향 layer을 사용할 경우 시퀀스 데이터에서 더 많은 정보를 추출할 수 있기 때문에 성능이 더 좋게 나타난다. 1번은 순방향 LSTM으로 마지막 시점 정보에는 과거의 기억 '맥락'이 포함되어 있다. 2번은 양방향 LSTM으로 빨강색 정방향 첫번째 시점엔 첫기억이 있으며, 마지막 시점엔 마지막 기억과 과거 기억이 포함되어 있다(최신 정보를 '과거의 맥락'을 고려하여 반영). 파랑색 역방향 첫번째 시점엔 첫기억과 함께 과거기억(우리 기준엔 미래) 포함되어 있다(첫 시점의 정보를 미래의 맥락을 고려하여 반영), 마지막 시점엔 ..

RNN(바닐라 RNN)의 단점 출력 결과가 이전의 계산 결과에 의존하기 때문에 비교적 짧은 시퀀스(sequence)에 대해서만 효과를 보이는 단점이 있다. 즉, 중요한 정보가 앞에 있다면 뒤로 갈수록 앞에 있는 중요한 정보가 손실되고, 시점이 충분히 긴 상황에서는 앞에 있는 정보가 전체 정보에 대한 영향력은 거의 의미가 없을 수도 있다. => 장기 의존성 문제(the problem of Long-Term Dependencies) 라고 함 LSTM(장단기 메모리, Long Short-Term Memory) : 전통적인 RNN의 위와 같은 단점을 보완하였으며 RNN과 비교하여 긴 시퀀스의 입력을 처리하는데 탁월한 성능을 보인다. RNN의 특징을 전부 가지고 있으면서+ '기억을 생성하고, 유지하고, 보수하는'..

NLP(자연어 처리, natural language processing ) :자연어(natural language)란 우리가 일상 생활에서 사용하는 언어, 자연어 처리(natural language processing)란 이러한 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일을 말합니다. 음성 인식, 내용 요약, 번역, 사용자의 감성 분석, 텍스트 분류 작업(스팸 메일 분류, 뉴스 기사 카테고리 분류), 질의 응답 시스템, 챗봇과 같은 곳에서 사용되는 분야이다. RNN(순환 신경망: Recurrent Neural Network): 입력과 출력을 시퀀스 단위로 처리하는 시퀀스(Sequence) 모델입니다. RNN은 가장 기본적인 인공 신경망 시퀀스 모델이다. 메모리 셀(RNN 셀): RNN에서..

Object Detection -data set PASCAL VOC Image Net COCO -Model 투스테이지 Object Detection : Many stage라고 적혀있는 방법에서는 object가 있을 법한 위치의 후보(proposals) 들을 뽑아내는 단계, 이후 실제로 object가 있는지를 Classification과 정확한 바운딩 박스를 구하는 Regression을 수행하는 단계가 분리되어 있는 방법 ex)R-CNN 원스테이지 Object Detection : 객체의 검출과 분류, 그리고 바운딩 박스 regression을 한 번에 하는 방법입니다. (속도 향상, 정확성이 낮아졌다.) ex)YOLO ->But 많이 발전해서 주로 이걸 씀 -알아둬야 할 지식 NMS(non-max supp..

Pretrained Model 내가 풀고자 하는 문제와 비슷하면서 사이즈가 큰 데이터로 이미 학습이 되어 있는 모델 https://keras.io/api/applications/ Keras documentation: Keras Applications Keras Applications Keras Applications are deep learning models that are made available alongside pre-trained weights. These models can be used for prediction, feature extraction, and fine-tuning. Weights are downloaded automatically when instantiating a mo k..

Data Agumentation : 갖고 있는 데이터셋을 여러 가지 방법으로 증가시켜 실질적인 학습 데이터셋의 규모를 키울 수 있는 방법 해결할 문제가 특수한 경우 1. 데이터가 없을 확률이 높을 때 2. 수집 난이도가 높을 때 Mirroring (대칭), Random Cropping, Roatation, Shearing, Local wraping,Color shifting 등을 활용하여 데이터를 증가시킨다. 이미지 전처리 사용 객체 ImageDataGenerator 클래스 : 실시간 데이터 증강을 사용해서 텐서 이미지 데이터 배치를 생성합니다. 데이터에 대해 (배치 단위로) 루프가 순환됩니다. from tensorflow.keras.preprocessing.image import ImageDataGen..