공백 음절의 임베딩을 더하는 모델 실험

[krikit]

현재 모델은 공백 음절도 다른 음절과 동일하게 문맥에서 하나의 음절로 위치를 차지하고 있는데, 이렇게 하지 않고 어절의 좌/우 경계에 해당하는 음절에 각각 ""와 "" 가상 음절의 임베딩을 elementwise로 더하는 것으로 실험을 해보려 합니다. 이 모델의 성능이 기존 모델과 비슷한 성능을 나타낸다면, 이때 공백 음절을 더할 때 dropout을 적용해 보려고 합니다. 그러면 기존에 dropout에 따라 공백이 들어가거나 빠지면서 위치도 들쑥날쑥해지는 문제도 해결할 수 있지 않을까 생각합니다.

[krikit]

실험 결과

분석 내용은 이곳에