jisoleil's coding good thing

Object Detection -data set PASCAL VOC Image Net COCO -Model 투스테이지 Object Detection : Many stage라고 적혀있는 방법에서는 object가 있을 법한 위치의 후보(proposals) 들을 뽑아내는 단계, 이후 실제로 object가 있는지를 Classification과 정확한 바운딩 박스를 구하는 Regression을 수행하는 단계가 분리되어 있는 방법 ex)R-CNN 원스테이지 Object Detection : 객체의 검출과 분류, 그리고 바운딩 박스 regression을 한 번에 하는 방법입니다. (속도 향상, 정확성이 낮아졌다.) ex)YOLO ->But 많이 발전해서 주로 이걸 씀 -알아둬야 할 지식 NMS(non-max supp..

Pretrained Model 내가 풀고자 하는 문제와 비슷하면서 사이즈가 큰 데이터로 이미 학습이 되어 있는 모델 https://keras.io/api/applications/ Keras documentation: Keras Applications Keras Applications Keras Applications are deep learning models that are made available alongside pre-trained weights. These models can be used for prediction, feature extraction, and fine-tuning. Weights are downloaded automatically when instantiating a mo k..

Data Agumentation : 갖고 있는 데이터셋을 여러 가지 방법으로 증가시켜 실질적인 학습 데이터셋의 규모를 키울 수 있는 방법 해결할 문제가 특수한 경우 1. 데이터가 없을 확률이 높을 때 2. 수집 난이도가 높을 때 Mirroring (대칭), Random Cropping, Roatation, Shearing, Local wraping,Color shifting 등을 활용하여 데이터를 증가시킨다. 이미지 전처리 사용 객체 ImageDataGenerator 클래스 : 실시간 데이터 증강을 사용해서 텐서 이미지 데이터 배치를 생성합니다. 데이터에 대해 (배치 단위로) 루프가 순환됩니다. from tensorflow.keras.preprocessing.image import ImageDataGen..

BatchNormalization : 층으로 들어가는 입력값이 한쪽으로 쏠리거나 너무 퍼지거나 너무 좁아지지 않게 해주는 인공신경망 기법. 여러 입력값을 모은 배치에 대해, 각 층의 입력값의 평균과 표준 편차를 다시 맞추어 주어, 입력값이 쏠리는 것을 막는다. Normalization(정규화): 학습을 더 빨리 하기 위해서 또는 데이터에 대해 평균 및 표준편차를 이용해 데이터로 인해 생기는 overfiting 방지하고자 사용 Drop Out : 훈련 과정에서 층이 있는 일부 뉴런을 랜덤하게 써서(즉 뉴런의 출력을 0으로 만들어) overfiting 방지한다. 왜 과대적합을 막을까? -> 이전 층의 일부 뉴런이 랜덤하게 꺼지면 특정 뉴런에 과대하게 의존하는 것을 줄일 수 있고 모든 입력에 대해 주의를 기울..

Shaply Value : 하나의 특성에 대한 중요도를 알기 위해 모든 가능한 조합에서, 예측값과 전체평균과의 각 차이에 각 feature가 얼마나 기여했는지 계산한값 SHAP(SHaply Additive exPlanations ): 모든 가능한 피처 순서쌍에 대해서 샘플링하고 평균 값을 계산 Tree 기반 알고리즘 TreeExplainer Deep Learning DeepExplainer SVM KernelExplainer 그외 일반 알고리즘 Explainer 1. 모델을 학습 model1 = RandomForestRegressor() model1.fit(x_train, y_train) 2. 해석 explainer1 = shap.TreeExplainer(model1) shap_values1 = expl..

다중공선성(선형회귀,로지스틱회귀) 선(선형) 성(성질) :통계학의 회귀분석에서 독립변수들 간에 강한 상관관계가 나타나는 문제 -> 학습용 데이터와 검증용 데이터로 나누어 회귀분석 성능을 비교하면 과최적화가 발생하였음을 알 수 있다. -> 독립변수가 서로 의존하게 되면 이렇게 과최적화(over-fitting) 문제가 발생하여 회귀 결과의 안정성을 해칠 가능성이 높아진다. 클래스 불균형(Class Imbalance) *진짜 당연한 상황이므로 놀라지 말자 ->.fit()을 통해 학습 ->전체 오차가 가장 적어지는 모델을 결과를 보여줌 즉,이런 상황일때 (target 비율) 1 0 0.2 0.8 1은 못맞추고, 0은 잘 맞춘다. 둘 다 잘 맞추기 위해서 sampling이 필요 1 0 원래 비율 20 80 dow..