이전 글 - [딥러닝 일지] 이미지 가지고 놀기 (변환하기) Data Augmentation 용어로는 Data Augmentation. 데이터 증강, 데이터 첨가라고도 부르는 것 같은데, 데이터를 뻥튀기하는 것이다. 이미지에서는 어렵지 않게 데이터를 늘릴 수 있다. 이전 글에서 알아본 방법으로, PIL 이미지와 torchvision.transform의 내장 함수들로 의미있는 부분들만 적당히 유지해주면서, 이미지를 회전하거나 작게 줄이거나 일부를 가리거나 색조를 변경시키는 등의 방법으로 여러 개의 복제된 이미지를 만들 수 있다. 특히, 이미지의 경우에는 방향을 뒤집기(flip)만 해도 Tensor 내의 값들이 전부 바뀌기 때문에, 같은 데이터로 과적합도 막을 수 있다. 가위바위보 이번에는 가위바위보 데이터..

이전 글 - [딥러닝 일지] 다른 모델도 써보기 (Transfer Learning) 오늘은 다음 주제를 다루는 과정에서, 이미지를 여러 방법으로 조작하는 것에 대해서 알아보았다. PIL 먼저, 파이썬에서는 이미지 라이브러리로 PIL(Python Imaging Library) 패키지가 매우 많이 쓰이는 것 같다. 많이 쓰이는 만큼, NumPy와 Tensor와도 호환되는 만들어주는 함수들이 있어서 자주 쓰는데 헷갈린다. 그래서 아래처럼 정리했다. from torchvision.transforms.functional import to_pil_image def pil_to_tensor(pil_image): # PIL: [width, height] # -> NumPy: [width, height, channel]..

이전 글 - [딥러닝 일지] 학습 조기 종료 (Early Stop) [딥러닝 일지] 학습 조기 종료 (Early Stop) 이전 글 - [딥러닝 일지] 과적합 문제, 그리고 배치 전략 [딥러닝 일지] 과적합 문제, 그리고 배치 전략 (교차 검증) 이전 글 - [딥러닝 일지] 이진 분류를 위한 CNN 모델 작성 (개 vs 고양이) [딥러닝 blog.joonas.io 들어가기 전에 이번에 하려던 것을 하기 위해 검색을 많이 해봤는데, 관용적으로 부르는 건지 실제 용어 정의가 있는 지는 모르겠다. 전이 학습(Transfer Learning)이라고도 부르고, 파인 튜닝(Fine Tuning)이라고도 부르는 것 같은 데, 찾아보기로는 다음과 같은 미묘한 차이가 있다. 전이 학습(Transfer Learning)은..

이전 글 - [딥러닝 일지] 과적합 문제, 그리고 배치 전략 [딥러닝 일지] 과적합 문제, 그리고 배치 전략 (교차 검증) 이전 글 - [딥러닝 일지] 이진 분류를 위한 CNN 모델 작성 (개 vs 고양이) [딥러닝 일지] 이진 분류를 위한 CNN 모델 작성 (개 vs 고양이) 이전 글 : [딥러닝 기록] 시작하기 - 개 vs 고양이 분류 [딥러닝 blog.joonas.io 이번 글은 Version 26을 기준으로 설명한다. Dogs vs. Cats Classification Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources www.kaggle.com 적당할 때 끝내기 실험을 ..

이전 글 - [딥러닝 일지] 이진 분류를 위한 CNN 모델 작성 (개 vs 고양이) [딥러닝 일지] 이진 분류를 위한 CNN 모델 작성 (개 vs 고양이) 이전 글 : [딥러닝 기록] 시작하기 - 개 vs 고양이 분류 [딥러닝 기록] 시작하기 - 개 vs 고양이 분류 딥러닝을 공부하면서, 헷갈리는 내용이나 앞으로 알아봐야 할 내용들을 블로그에 정리하기로 blog.joonas.io 정확도를 높이고 싶다!! 개와 고양이를 더 잘 구분하고 싶었다!! 나의 욕망은 무리한 삽질의 반복만 낳았다. 이전에 작성했던 MLP 모델의 네트워크에서 Convolution의 커널(kernel) 크기도 바꿔보고, stride 크기도 바꿔보고, 뒤 쪽 classifier에서 drop out도 해보고.. 이것 저것 해보았지만 결과는..

이전 글 - [딥러닝 기록] 시작하기 - 개 vs 고양이 분류 [딥러닝 기록] 시작하기 - 개 vs 고양이 분류 딥러닝을 공부하면서, 헷갈리는 내용이나 앞으로 알아봐야 할 내용들을 블로그에 정리하기로 했다. 까먹는 일이 부지기수고, 오래되면서 머릿 속에 있던 지식들이 섞이면서 점점 헷갈리고 있어 blog.joonas.io 모델 작성 데이터 셋이 어떤 구성으로 되어있는 지 알아보았고, 이제 그 데이터 셋으로 학습을 할 때다. 모델은 CNN 구조로, kaggle에서 돌아다니는 여러 노트북들을 보며 작성했다. 기본적인 개념은 Convolution으로 어떤 window 단위로 특징을 추출하고, 추출한 값에서 최대만 다시 추려내는 Max pooling, 그리고 사이사이에 활성화 함수로 ReLU가 있다. 이렇게를 ..

딥러닝을 공부하면서, 헷갈리는 내용이나 앞으로 알아봐야 할 내용들을 블로그에 정리하기로 했다. 까먹는 일이 부지기수고, 오래되면서 머릿 속에 있던 지식들이 섞이면서 점점 헷갈리고 있어서이다. 특히, 이론으로만 공부하기에는 부족해서 kaggle을 통해 실제 데이터로 모델도 작성해보고, 실행하면서 성능도 측정할 것이다. 몇몇 튜토리얼들을 보았는데, 타이타닉 예시가 보기에 좋았다. 수비니움의 캐글 따라하기 Machine Learning for Everyone!! subinium.github.io 데이터를 중심으로 학습하기 때문에, 전처리에 있어서 어떤 것이 가능하고 어떤 가공을 거치는 지 알 수 있기 때문에 좋았다. 개, 그리고 고양이 아주 오래된 Competition이지만, 개와 고양이 분류는 아주 유명하기..

http://www.cs.toronto.edu/~rgrosse/courses/csc321_2017/slides/lec4.pdf : activation을 다른 곳은 거의 베르누이 썼는데 여긴 softmax를 사용한 강의 자료 https://eli.thegreenplace.net/2016/the-softmax-function-and-its-derivative/ : softmax 미분한 글 https://math.stackexchange.com/questions/477207/derivative-of-cost-function-for-logistic-regression : chain rule 이해 안될때 보면 되는 글 대수적(?)으로 표현한거지만 예제도 좋고 전개도 잘해서 이해하긴 쉬움 http://sanghyu..