[후미] 예시에서 query와 key의 개수가 다른 이유

[CoodingPenguin]

🙌 질문자

• 후미 @opijae

---

❓ 질문 내용

• 아래 예시에서 첫 번째 행렬인 query와 두 번째 행렬인 key의 개수가 다른 이유는 무엇인가요?

---

📄 참고 자료

• [DAY 19] Transformer - p. 8
• 트랜스포머(Transformer) - 딥러닝을 이용한 자연어처리 입문

---

[jjerry-k]

음....
논문에선 실험을 편하게 하려고 Q, K, V의 크기를 동일하게 가져갑니다.
하지만 확실한건 K, V의 크기는 동일해야 합니다.
결과적으로 K, V는 동일해야하나 Q는 어떤 값이어도 상관이 없다이겠네요.

[Heeseok-Jeong]

제 생각엔 그림에서 Q 가 3 개인건 신경쓰지 않으셔도 좋을 것 같습니다 (어떤 의미가 있는게 아니라고 생각합니다).
|Q|, |K|, |V| 는 같은 문장에서 단어 개수이므로 모두 동일할 것입니다. 그리고 Q 와 K 의 차원은 내적해야하므로 dk 로 같아야 하고, v 는 차원을 마음대로 가져가도 됩니다.