implementation of DeZero (deep learning from scratch-3)
docker build . -t mytorch
docker run --gpus all -it --rm -v $PWD:/workspace -p 8001:8001 mytorch \
jupyter notebook --allow-root --ip 0.0.0.0 --port 8001- 각종 테스트 코드 추가
- CI 툴을 이용한 빌드 및 테스트 자동화
- heap q 를 이용한 generation 정렬
- 쉽게 내가 짠 backward 함수를 검증해볼 수 있을까?
- numerical_gradient_check를 활용한 접근법
- 텐서 사용 시의 역전파 방법에 따른 계산 효율 (자동미분 forward 모드와 reverse 모드)
- broadcast 함수의 역전파는 어떻게 이루어질까?
- 행렬의 곱연산의 미분을 해보자.
- 왜 직접 구현해서 사용하는 것보다, pytorch에서 제공해주는 모듈을 쓰는게 좋을까? (메모리 관점에서의 접근)
- step43의 내용 활용해서 블로그하면 좋을 듯
- Optimizer와 관련된 내용도 포스팅할 만 할듯
- 왜 optimizer도 save해야 하는가?
- Optimizer의 작동원리 등등
- step01
- step02
- step03
- step04
- step06
- step07
- step08
- step09
- step10
- step11
- step12
- step13
- step14
- step16
- step17
- step18
- step19
- step21
- step22
- step23
- step24
- step26
- step27
- step28
- step37 - 텐서를 다루다
- step38 - 형상 변환 함수 (고차미분 적용)
- step40 - 브로드캐스트 함수
- step39 - 합계(Sum) 함수
- stag41 - 행렬의 곱
- step42 - 선형회귀
- step43 - 신경망
- step44 - 매개변수를 모아두는 계층
- step45 - 계층를 모아두는 계층
- step46 - Optimizer로 수행하는 매개변수 갱신
- step47 - 소프트맥스 함수와 교차 엔트로피 오차
- step48 - 다중 클래스 분류
- 데이터 시각화 코드 추가
- step49 - Dataset 클래스와 전처리
- step50 - 미니배치를 뽑아주는 DataLoader
- step51 - MNIST 학습
- step52 - GPU 지원
- step53 - 모델 저장 및 읽어오기
- step54 - 드롭아웃과 테스트 모드
- step55-57 - CNN
- step58 - VGG16