New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

optuna를 통합 매개변수 최적화와 모델 앙상블 #16

Closed

waikoreaweatherpjt opened this issue Feb 8, 2023 · 1 comment

waikoreaweatherpjt commented Feb 8, 2023

안녕하세요.

BERT를 이용한 텍스트 분류를 연구하는 사람입니다.

그런데 kobert나 기타 한국 check point를 사용하는 예제에서는 optuna로 하이퍼 파라미터를 최적화 하거나, 앙상블 하는 것이 안보여서요.
그다지 유용성이 없어서 예제가 없는 것인지 아니면, 다른 이유인지 궁금합니다.

혹여 예제가 있다면 업로드 해주시면 감사하겠습니다

Owner

Beomi commented Mar 19, 2023

ray/optuna등을 사용해서 Hyperparams를 바꿔가며 최적화하는 것도 당연히 가능합니다만,
실제로 1%p수준 내외의 차이인 경우가 많아서, 비용대비 결과물의 성과 차이가 크지 않아서 그렇습니다.

Beomi closed this as completed

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment