FIELD / AI-LLM / TRANSFORMER

Transformer

토큰 사이의 정보 흐름을 계산으로 따라간다

attention, QKV, position encoding과 GPT 구현을 논문, 그림, 코드의 순서로 연결합니다.

AttentionQKVTensor ShapeminGPTGPT
세부 주제 소개Active

attention, QKV, position encoding과 GPT 구현을 논문, 그림, 코드의 순서로 연결합니다.

AttentionQKVTensor ShapeminGPTGPT
AI / LLM 세부 주제11개 보기

최신글/ 11

11
Concept Walkthrough

The Illustrated Transformer를 tensor shape으로 다시 읽기

The Illustrated Transformer의 직관을 실제 QKV tensor와 attention 계산 순서로 옮겨, 한 문장이 block을 통과하는 흐름을 다시 그렸다.

2026. 07. 17. · 19분 읽기