Chronicles

[eubinecto]

v1.0

현재까지 구현한 것까지가 v1.0

v2.0

• builders를 도식에 맞게 더 단순화하기 #15
• torchmetrics.Accuracy 함수지향으로 변경하기
• wandb 로그인만 하면 바로 실행해볼 수 있도록 변경하기
• full-scale training 진행하기 (하루가 걸리던 얼마가 걸리던 일단 T4로 학습 ㄱㄱ) #16
• BLEU score 계산하기 #17
• main_build_kor2eng.py로 데이터를 wandb에 저장하기 #19
• 다시한번 full-scale training 진행하기 #21
• 언더피팅 해결하기 #22
• run=None 파라미터 추가하기 (왜? used by에 뜨지 않는다 ㅠㅠ)

v3.0: Towards the-qualitative-transformer

점수에만 집착하지말고, 학습이 진행됨에 따라 모델의 내부가 어떻게 변화하는지 관측을 해보자.

향후 계획

• 논문의 구현체와 다른 점이 무엇인지 표기하기 (tokenizer 라던지)

[eubinecto]

kedro를 적용해본느건..?

https://kedro.readthedocs.io/en/stable/tutorial/set_up_experiment_tracking.html

[eubinecto]

다음 방향성

각 구조의 당위성을 파악하는 실험을 하는 것이 주 목표. 물론 발전된 모델이 존재하기는 하나, 항상 중요한 것은 기본이다.
우선 SingleHead vs. MultiHead를 비교를 해보는 것으로 시작해보자. 이미 누군가 실험을 해보았을수도 ?

1. 정량적인 분석
2. 정성적인 분석

둘다 필요하다.

이와 함께, 왜 반드시 "scaled"가 필요한지, 그 당위성을 분석하는 것도 중요할 것.

어차피 ablation은 실험만을 위한 것이므로... main branch에는 지금 구현 것을 그대로 유지해두면 된다.
ablation실험은 git tag로 관리하자.

[eubinecto]

더 연습해볼만한 것들

• fastapi 구축해서 Ainize에서 호스팅하기 (도커활용)
• streamlit으로 간단한 데모 만들어보기
• wandb.restore도 구현할 수 있다면 좋을 것!