[week2] Projection Layer가 정확히 뭘까요?

[cow-coding]

• 본 논문에서 training complexity를 계산하는 수식에서 Q가 등장합니다. Q는 모델마다 다르게 정의하기로 하는데, 이 수식 연산에서 자주 등장하는 것이 projection layer (matrix) 입니다.
• 정확하게 projection layer(matrix)가 뭔지 모르겠네요....?
  가장 비슷한건 embedding layer (matrix)가 떠오르는데 정확히 embedding이란 용어를 쓰진 않았으니...

[TB2715]

Projection layer가 NNLM 에서 나온 개념인 것 같습니다.
보통 NN에서 input layer와 output layer 사이의 층은 hidden layer라고 하는데, projection layer는 일반 hidden layer와 다르게 가중치 행렬과의 곱셈은 이루어지지만 활성화 함수가 존재하지 않는다고 되어 있네요!

출처
출처2

[kimcando]

저는 projection 의미를 선형대수랑 연결해서 이해합니다.
matrix를 곱해주는 linear operation을 취하면 인풋을 아웃풋 공간으로 보내주는데요. 이때 인풋 공간에서 아웃풋으로 '보내주는' 것을 projection이라고 볼 수 있습니다. 즉 매트릭스를 곱해줌으로써 새로운 공간으로 보내주는 것( nxm이면 n차원 인풋을 m 차원으로 보내주는 것)을 projection이라하고, 실제로 메트릭스를 곱이 이루어지는 layer를 projection layer라고 보면 다른 논문들에서 projection 표현하는걸 이해하기 쉬울 것 같아요!