--- title: "LLM 수학 04 — Transformer를 식으로 한 바퀴" slug: "llm-math-04-transformer" category: "AI / LLM" topic: "ai-llm" subtopic: "mathematics" tags: ["Transformer","Attention","RoPE","KV Cache","Tensor Shape"] status: "published" created: "2026-07-21" updated: "2026-07-21" summary: "token id가 embedding, causal self-attention, FFN, vocabulary logit과 loss를 지나고 생성 시 KV cache로 이어지는 전 과정을 식·shape·비용으로 추적한다." kind: "Study Note" evidence: "Transformer 원 논문·후속 논문·shape 검산" series: "공식에서 시스템까지 이어지는 LLM 수학" --- [선형대수](/posts/llm-math-01-linear-algebra), [확률](/posts/llm-math-02-probability-information), [미분과 최적화](/posts/llm-math-03-calculus-optimization)를 따로 봤다. 이제 decoder-only Transformer 한 layer의 forward, training loss, autoregressive generation을 한 경로로 연결한다. > 2017년 원 논문의 Transformer는 encoder-decoder, sinusoidal position encoding, post-LayerNorm 구조다. 오늘날 decoder-only LLM은 pre-norm, RMSNorm, RoPE, SwiGLU, GQA 같은 변형을 자주 사용한다. “Transformer 공식” 하나가 모든 model의 정확한 구현은 아니다. ## 전체 계산 지도 ```text text → tokenizer → token ids (B, T) → token embedding (B, T, D) → position information (B, T, D) 또는 Q/K rotation → N × Transformer block (B, T, D) ├─ normalization ├─ causal self-attention ├─ residual ├─ normalization ├─ feed-forward / gated MLP └─ residual → final normalization (B, T, D) → vocabulary projection (B, T, V) → shifted cross-entropy scalar ``` 기호는 다음과 같다. - $B$ — batch size - $T$ — sequence length - $V$ — vocabulary size - $D$ — model dimension - $H_q$ — query head 수 - $H_{kv}$ — key-value head 수 - $d_h$ — head dimension - $L$ — layer 수 일반 multi-head attention에서는 $D=H_qd_h$이고 $H_q=H_{kv}$다. ## Tokenization은 수학 이전의 계약이다 text를 token id sequence로 바꾸는 tokenizer는 model 밖의 전처리처럼 보이지만 다음을 바꾼다. - sequence length $T$ - vocabulary size $V$ - 숫자·코드·한국어의 분해 방식 - input/output embedding parameter 수 - context window에 들어가는 실제 text 양 - perplexity의 token 단위 같은 문장이 tokenizer A에서는 10 token, B에서는 16 token일 수 있다. “8K context”는 8K 글자나 단어가 아니라 해당 tokenizer의 token 수다. ## Token embedding embedding table은 $$ E\in\mathbb{R}^{V\times D} $$ 이다. token id $x_t$의 row를 고른다. $$ e_t=E[x_t]\in\mathbb{R}^{D} $$ batch 전체는 $$ X^{(0)}\in\mathbb{R}^{B\times T\times D} $$ 이다. lookup은 one-hot $o_t\in\mathbb{R}^{V}$와의 곱으로도 쓸 수 있다. $$ e_t=o_t^\top E $$ 구현은 one-hot을 만들지 않고 index로 row를 가져온다. ## Position이 필요한 이유 self-attention의 content 연산만 보면 token row를 같은 permutation으로 섞었을 때 output도 같은 방식으로 섞이는 permutation equivariance가 있다. 순서를 model에 알려줄 별도 signal이 필요하다. ### Sinusoidal position encoding 원 논문의 식은 짝수·홀수 dimension에 sine과 cosine을 사용한다. $$ PE_{(pos,2i)} = \sin\left(pos/10000^{2i/D}\right) $$ $$ PE_{(pos,2i+1)} = \cos\left(pos/10000^{2i/D}\right) $$ 입력 embedding에 더한다. $$ h_{pos}=e_{token}+PE_{pos} $$ 서로 다른 주파수로 position을 표현한다. 원 논문은 fixed sinusoidal과 learned positional embedding이 비슷한 결과를 냈고, 더 긴 length extrapolation 가능성을 보고 sinusoidal을 선택했다. 이것이 모든 후속 model에서 sinusoidal이 최선이라는 뜻은 아니다. ### Learned absolute position embedding $$ h_t=e_{token,t}+P[t] $$ position table $P\in\mathbb{R}^{T_{max}\times D}$를 학습한다. training에서 보지 않은 position으로 확장하는 방법이 자동으로 정해지지 않는다. ### Rotary Position Embedding RoPE는 query와 key의 dimension pair를 position-dependent angle로 회전한다. 2차원 pair를 단순화하면 $$ R_{\theta,t} = \begin{bmatrix} \cos(t\theta)&-\sin(t\theta)\\ \sin(t\theta)&\cos(t\theta) \end{bmatrix} $$ $$ q'_t=R_{\theta,t}q_t,qquad k'_s=R_{\theta,s}k_s $$ 회전된 dot product에는 상대 position $t-s$가 들어간다. $$ (q'_t)^\top k'_s =q_t^\top R_{\theta,s-t}k_s $$ 실제 RoPE는 여러 frequency를 dimension pair마다 적용한다. position vector를 hidden state에 더하는 대신 attention의 Q와 K에 회전을 적용한다. context extension에서는 base frequency scaling과 training length 조건을 확인해야 한다. ## 한 layer의 입력 layer $\ell$ 입력을 $$ X^{(\ell)}\in\mathbb{R}^{B\times T\times D} $$ 라 하자. modern pre-norm block을 단순화하면 $$ U=X^{(\ell)}+\operatorname{Attention}(\operatorname{Norm}(X^{(\ell)})) $$ $$ X^{(\ell+1)}=U+\operatorname{FFN}(\operatorname{Norm}(U)) $$ 이다. dropout, bias, parallel residual 같은 세부는 model마다 다르다. ## Q, K, V projection 일반 MHA부터 본다. $$ Q=XW_Q,qquad K=XW_K,qquad V=XW_V $$ $$ W_Q,W_K,W_V\in\mathbb{R}^{D\times D} $$ projection 뒤 $$ Q,K,V\in\mathbb{R}^{B\times T\times D} $$ 이고 head를 나누면 $$ Q,K,V\in\mathbb{R}^{B\times H\times T\times d_h} $$ 이다. 이름을 정보 검색과 연결해 읽는다. - query — 현재 position이 찾는 조건 - key — 각 position이 match될 주소 - value — match weight로 섞을 내용 $K$와 $V$가 같지 않은 이유는 “어디를 볼지”와 “무엇을 가져올지”에 다른 projection을 학습하게 하기 위해서다. ## Scaled dot-product attention head 하나에 대해 $$ S=\frac{QK^\top}{\sqrt{d_h}} $$ 이다. shape는 $$ (B,H,T,d_h)(B,H,d_h,T) \rightarrow(B,H,T,T) $$ 다. $S_{bhij}$는 batch $b$, head $h$에서 query position $i$와 key position $j$의 compatibility score다. ### 왜 $\sqrt{d_h}$로 나누는가 $q_i,k_i$가 mean 0, variance 1이고 대략 independent라고 단순 가정하면 dot product는 $$ q\cdot k=\sum_{i=1}^{d_h}q_i k_i $$ 이고 variance는 대략 $d_h$다. $$ \operatorname{Var}(q\cdot k)\approx d_h $$ standard deviation은 $\sqrt{d_h}$이므로 나누면 score scale을 order 1로 유지한다. $$ \operatorname{Var}\left(\frac{q\cdot k}{\sqrt{d_h}}\right)\approx1 $$ 큰 logit은 softmax를 포화시켜 gradient가 작아질 수 있다. 이 유도는 independence와 unit variance를 둔 직관이다. 실제 trained Q, K가 정확히 그 distribution이라는 주장은 아니다. ## Causal mask decoder-only model이 position $i$에서 미래 $j>i$를 보지 못하게 한다. $$ M_{ij}= \begin{cases} 0,&j\le i\\ -\infty,&j>i \end{cases} $$ $$ P=\operatorname{softmax}(S+M) $$ $e^{-\infty}=0$이므로 미래 key probability가 0이 된다. 구현은 dtype에서 충분히 작은 finite value를 사용할 수 있다. padding mask는 batch마다 실제 token이 아닌 padding position을 막는다. causal mask와 목적이 다르며 broadcasting shape를 검증해야 한다. 모든 key가 masked된 row에 softmax를 적용하면 undefined한 $0/0$ 또는 NaN 문제가 생길 수 있다. library kernel의 all-masked behavior를 확인한다. ## Softmax axis $$ P_{ij} = \frac{\exp(S_{ij})}{\sum_{j'}\exp(S_{ij'})} $$ query $i$를 고정하고 key axis $j$로 합이 1이다. $$ \sum_jP_{ij}=1 $$ $(B,H,T_q,T_k)$의 마지막 axis다. query axis로 softmax하면 다른 의미의 연산이 된다. ## Value의 가중합 $$ O=PV $$ shape는 $$ (B,H,T,T)(B,H,T,d_h) \rightarrow(B,H,T,d_h) $$ 각 query output은 허용된 value vector의 convex combination이다. $$ o_i=\sum_jP_{ij}v_j $$ attention weight이 explanation과 같다는 보장은 없다. output projection, residual, 다음 layer의 nonlinear transformation을 거친 최종 prediction 영향과 한 head의 weight는 다르다. ## 손으로 계산하는 causal attention 두 token, head dimension 2라고 하자. $$ Q= \begin{bmatrix} 1&0\\ 1&1 \end{bmatrix},quad K= \begin{bmatrix} 1&0\\ 1&2 \end{bmatrix},quad V= \begin{bmatrix} 2&0\\ 0&4 \end{bmatrix} $$ raw score는 $$ QK^\top = \begin{bmatrix} 1&1\\ 1&3 \end{bmatrix} $$ $\sqrt2$로 나누고 causal mask를 더한다. $$ S+M = \begin{bmatrix} 1/\sqrt2&-\infty\\ 1/\sqrt2&3/\sqrt2 \end{bmatrix} $$ 첫 row의 probability는 $[1,0]$이다. 첫 token은 자기 자신만 본다. 둘째 row는 두 logit 차이가 $$ \frac{3-1}{\sqrt2}=\sqrt2\approx1.414 $$ 이므로 $$ P_{2,\ast}\approx[0.196,0.804] $$ 이다. output은 $$ o_1=[2,0] $$ $$ o_2=0.196[2,0]+0.804[0,4] \approx[0.392,3.216] $$ 이다. ## Multi-head attention head마다 다른 projection으로 다른 subspace의 관계를 계산한다. $$ \operatorname{head}_h = \operatorname{Attention}(XW_Q^{(h)},XW_K^{(h)},XW_V^{(h)}) $$ $$ \operatorname{MHA}(X) = \operatorname{Concat}(\operatorname{head}_1,\ldots,\operatorname{head}_H)W_O $$ concat 뒤 shape는 $(B,T,Hd_h)=(B,T,D)$이고 $W_O\in\mathbb{R}^{D\times D}$가 head 정보를 다시 섞는다. head 수를 늘려도 $D$를 고정하면 각 head dimension $d_h=D/H$는 작아진다. head 수 증가가 parameter와 표현력을 단순히 비례 증가시키지는 않는다. ## MHA, MQA, GQA query head 수를 $H_q$, KV head 수를 $H_{kv}$라 하자. - MHA — $H_{kv}=H_q$ - MQA — $H_{kv}=1$ - GQA — $1