Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

p85 단어 임베딩 차원 질문있습니당 #41

Open
Dohy-Lee opened this issue Aug 9, 2022 · 1 comment
Open

p85 단어 임베딩 차원 질문있습니당 #41

Dohy-Lee opened this issue Aug 9, 2022 · 1 comment

Comments

@Dohy-Lee
Copy link

Dohy-Lee commented Aug 9, 2022

안녕하세요 작가님!
85쪽 수식3-7 설명할 때, 단어 임베딩 차원수를 언급하셨는데,
단어 임베딩 차원수가 의미하는 것이 뭔가요? 83쪽 그림을 봐도 단어 임베딩 차원수가 뭘 의미하는 것인지 잘 모르겠어요

@kimhyongook
Copy link

kimhyongook commented Dec 12, 2022

저도 윗분과 궁금한 부분이 겹쳐서 추가 질문 드립니다.
수식 3-7 입력 벡터 시퀀스 X를 처음에 어떻게 만드는지 자세히 알고 싶습니다.
혹시 단어 임베딩 차원 수(d)가 말뭉치 학습에 사용된 전체 토큰의 개수를 4개라고 가정한건가요?
그러면 행렬의 각 값은 어떻게 도출되는지 궁금합니다.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants