[Day 09 - 5/6] GitHub

[karim-moon]

Git-flow

🐤 우린 Git-flow를 사용하고 있어요 - 우아한형제들 기술 블로그

🐸 Git flow, GitHub flow, GitLab flow

🐙 Github에서 협업하는 방법

→ 기능 구현되면 dev branch에 merge

→ contributor로 참여하는 것이 좋다.

[GitHub] Git fetch : fork한 저장소를 원래 저장소의 최신 커밋 내역으로 바꾸기

→ merge된 branch는 삭제하는것이 좋다.

Special Mission

• 문종 : SOM-dst의 preprocessor을 사용해서 [Mission 1 : Gate 개수 변경해보기]을 실험할 것.

• 유진 : gating2id에 {'none' : 0, 'dontcare' : 1, '숙소' : 2 ... }이렇게 도메인 5개를 추가해서 실험해보자.
• 문종 : gate를 2개 쌓는것은 어떨까(yes, no 게이트를 거친 후 dontcare,none 게이트를 거치는 느낌.)

멘토링

• 실험노트는 이슈로 하는게 좋다!
• 다 읽어보기 힘드니 앞에 abstract를 3줄정도로 요약해놓는다.
• 문종님 EDA 피드백
  → task에 대해 중요한 insight를 발견한 것 같다.
  → 좋은 성과를 내고 싶다면 모델을 빠르게 잘 이해하고 EDA를 통해 얻은 insight를 활용해야한다. 이번 대회에서 중요한 부분은 찾아낸것같다.
• 현재 학습 상황 발표 - 재우님
  : TRADE논문 이해상황 발표.
  → 멘토님 궁금한점 : P_vocab과 P_history는 왜 Softmax함수일까?
  → 희석님 대답 : 지금까지의 대화와 Domain slot을 비교했을 때 P_vocab은 다 봤을때 가장 큰 확률을 찾아내기위해 Softmax를 사용했다 생각.
  → 멘토님 궁금한점 : P_gen은 어떤 의미일까?
  → 문종님 대답 : vocab에서 단어를 가져올 것이냐, history에서 가져올것이냐, 이렇게 CE의 느낌과 비슷하게 가져온듯
  → 멘토님 궁금한점 : Loss는 선형결합을 했는데 알파와 베타는 하이퍼파라미터인가여?
  → 재우님 대답 : 네.
  → 하이퍼파라미터 조절해볼수도 있겠네여
• 논문이 한두사람 머리에 있으면 구현이 나중에 심히 힘들어질 수 있다. 수식의 디테일한 부분도 좋지만 수학추리적 의미를 위주로 가져가서 구현했으면 좋겠다. 구현에있어서 이 수식이 어떤 의미를 가지는가 이렇게 공부를 해보면 좋겠다.!
• 문종님 Slot Gate를 여러겹쌓은 실험
  : 왜 Slot Gate를 3가지로 가져갔을까? gate를 3번을 쌓을 수 있지 않을까? value를 generate하는건 dontcare, ptr두가지이니까, non, generate를 2진분류하는 gate를 둠. 그런 후 generate라고 판별이 되면 dontcare를 얘기할건지 다른 value를 generate할건지 gate를 한번 더 사용.
  : 세가지 분류보다는 이진분류가 모델한테 더 쉬울것같아 이 아이디어를 내게 되었다.
  : 이진분류를 두번 거친다면 dontcare과 none은 거의 잡아낼 수 있지 않을까.

→ 멘토님 궁금한점 : 바꾸는 이유는 dontcare과 none을 잘 classify하기 때문일까여?
→ 네 이러면 확실히 잡아줄수있겠다 생각합니다.
→ 멘토님 대답 : 한번 해보시고 결과를 보며 판단해도 되겠습니다! 재밌네요! 흥미롭습니다!

• 철지난 1주차인데도 나름의 진전이 있는거같아 좋고 한편으로는 방금 말하신 가설 말고 다른 가설도 있으니 항상 강조드릴게 시간 분배가 가장 중요합니다. 마지막에 아 이거 괜찮았는데 하고 구현 못한것도 있을수도 있으니 많은 가설들과 많은 상상력을 잘 해서 시도를 많이 해보시고 후반부에는 미세한 튜닝 위주로 할 수 있도록 하면 좋겠습니다.
• 희석님 질문 : sota모델을 찾는거보다 dialog분석이 더 좋다고 오피스아워에서 얘기하셨다. baseline을 바꾸고 다른 성능 더 좋은 모델을 base로 잡고 수정하는 방향은 어떨까 생각합니다.
  → 2가지가 필요합니다. 첫번째는 그 모델에 관한 논문을 읽고 어떤 부분에서 지금 모델보다 나은가 생각해야함. 두번쨰는 그래서 그 나은점이 우리의 문제와 맞는지 생각해봐야한다.
  → 시간관리에 있어서의 문제가 있을수도 있다. dst다들 처음하는데 이런 점에서 시간투자를 충분히 할 수 있으면 좋은 접근이다. 하지만 결국 중요한건 시간과 이 모델의 적합성이다. 지금 베이스라인을 80%이해했다는 가정하게 그쪽으로 갔으면 좋겠다. 이도저도 안될 수도 있기 때문에.
  → 성장을 위해서라면 써보라고는 하고 싶지만 두가지를 생각해주세요. trade off이기때문에~~(시간과 task) 잘 고려하면 좋겠다.
• 문종님 질문 : 여러 모델을 써야한다거나, 앙상블을 한다거나 하면 git의 구조가 저렇게 가는게 맞나, 현업에서는 어떻게 관리하는지 궁금합니다.
  → 우리가 하는것에 비해서 조금더 복잡한정도(branch가 좀 더 많은 정도)
  → 규모를 줄이는것도 괜찮다. 화요일에 말씀해주신게 overstack일수도 있다. 적용했을때 깃이 어렵다 다가왔는지 스스로는 어떻게 느끼셨나요?
  → 문종님 대답 : 깃을 딥하게 사용한 적이 없어서 써봐야 알거같아요. 헷갈리는 부분이 많다 싶었습니다.
  → 재우님 대답 : 깃을 많이 사용해보지 않았는데 딥러닝하는데에 있어 어떻게 해야할까 고민이 많았습니다. branch로 나눠서 하는게 하지만 소통이 잘된다면 가장 좋은 방법인거같아 좋습니다.
  → 지금있는 모델이 복잡하면 2개정도로 나눠도 되죠. dev와 master정도로. 그런데 문제가 2명이 접근하면 충돌을 해결하기 힘들수도 있는데 이런 상황(깃에 큰 cost를 들이는 상황)이면 다른걸 해도 되는데 언젠가는 하게 될 거에요 ㅎㅎ 좋은 고민이네요 충분히 ㅎㅎ
  → 이런 고민들을 면접관에게 해도 되게 좋다. 정답이 없기때문에 듣다보면 재밌다.
  → 큰 규모로 갈수록 깃은 더 구조화되고 더 복잡화됩니다.
• 다음주에 브리핑할 것에 대해 예상질문을 생각해보시면 좋겠다.
• 다음에는 멘토링에 더 많은 분들이 참여할수있도록 했으면 좋겠다. (묵언수행 노노ㅠ)