FIELD / AI-LLM / TRANSFORMER
Transformer
토큰 사이의 정보 흐름을 계산으로 따라간다
attention, QKV, position encoding과 GPT 구현을 논문, 그림, 코드의 순서로 연결합니다.
AttentionQKVTensor ShapeminGPTGPT
Published logs / 03
Transformer 기록
01
Paper Review · 논문·원문 분석
02Attention Is All You Need를 읽으며 다시 본 Transformer의 본질
RNN을 없앴다는 한 문장을 넘어, Transformer가 토큰 사이의 정보 이동을 어떻게 다시 설계했는지 계산 흐름으로 읽었다.
2026. 07. 17. · 8분 읽기Implementation Preview · 소스 코드 분석·실행 전 계획
03minGPT를 시작하기 전에 정리한 Shakespeare GPT의 전체 흐름
작은 Shakespeare GPT를 직접 학습하기 전에 필요한 개념과 minGPT의 데이터·forward·loss·학습·생성 흐름을 소스 순서대로 정리했다.
2026. 07. 17. · 7분 읽기Concept Walkthrough · 해설·논문 교차 확인
The Illustrated Transformer를 tensor shape으로 다시 읽기
The Illustrated Transformer의 직관을 실제 QKV tensor와 attention 계산 순서로 옮겨, 한 문장이 block을 통과하는 흐름을 다시 그렸다.
2026. 07. 17. · 7분 읽기