intermediate_source/pruning_tutorial.py 내용 수정

[wnsx0000]

문서 URL

수정이 필요한 URL을 남겨주세요. (예. https://tutorials.pytorch.kr/beginner/basics/intro.html)

• URL: https://tutorials.pytorch.kr/intermediate/pruning_tutorial.html

변경 사항

(1)어떤 단어 / 문장 / 내용이 (2)어떻게 변경되어야 한다고 생각하세요?

해당 문서 첫 번째 문단의 마지막 문장에 오역이 있는 것 같습니다.

• 원문
  On the research front, pruning is used to investigate the differences in learning dynamics between over-parametrized and under-parametrized networks, to study the role of lucky sparse subnetworks and initializations ("lottery tickets") as a destructive neural architecture search technique, and more.

• 기존 번역
  연구 측면에서는, 가지치기 기법은 굉장히 많은 수의 파라미터값들로 구성된 모델과 굉장히 적은 수의 파라미터값들로 구성된 모델 간 학습 역학 차이를 조사하는데 주로 이용되기도 하며, 하위 신경망 모델과 파라미터값들의 초기화가 운이 좋게 잘 된 케이스를 바탕으로 ("lottery tickets") 신경망 구조를 찾는 기술들에 대해 반대 의견을 제시하기도 합니다.

• 새롭게 제안하는 번역
  연구 측면에서는, 가지치기 기법은 굉장히 많은 수의 파라미터값들로 구성된 모델과 굉장히 적은 수의 파라미터값들로 구성된 모델 간 학습 역학 차이를 조사하는데 주로 이용되기도 하며, 소거 기반 신경망 구조 탐색의 일환으로 하위 신경망 모델과 파라미터 값들의 초기화가 운이 좋게 잘 된 케이스의 ("lottery tickets") 역할을 연구하기도 합니다.

추가 정보

위와 같이 생각하신 이유 또는 다른 참고할 정보가 있다면 알려주세요.

해당 문장에서 lottery tickets으로 링크된 논문은, network에 pruning을 반복 적용해 학습이 더 용이한 subnetwork인 'winning ticket'을 찾는 내용을 다루고 있습니다.

더 구체적으로는, 1) network를 무작위로 초기화한 뒤 pre-train하고, 2) 학습 이후 파라미터 중 값이 작은 것들을 pruning한 다음, 3) 남아 있는 부분을 최초의 무작위 초기화 값으로 되돌리는 작업을 반복합니다. 이 과정에 의해 찾아진 최종 subnetwork는 원본 network보다 훨씬 작음에도 불구하고, 더 빠르게 학습하며 비슷하거나 더 높은 정확도를 달성할 수 있다고 합니다.

이런 내용으로 비추어 봤을 때, 해당 원문의 내용은 pruning이 '신경망 구조 탐색에 대한 반대 의견을 제시한다'는 것보단 '소거 기반 신경망 구조 탐색에 활용된다'는 것으로 이해하고 번역해야 할 것 같습니다.