LLM 내부구조 이해용 핵심 논문 리스트

LLM “내부구조” 이해용 핵심 논문 리스트다.

크게 아키텍처 → 내부 모듈 → 기계적 해석가능성 순서로 보면 좋다.

먼저 읽기

Attention Is All You Need

Transformer 원형. Self-attention, multi-head attention, FFN, residual 구조.

A Primer on the Inner Workings of Transformer-based Language Models

내부 작동 방식 입문용. decoder-only LLM 중심.

A Practical Review of Mechanistic Interpretability for Transformer-Based Language Models

해석가능성 전체 지도.

LLM 아키텍처

BERT: Pre-training of Deep Bidirectional Transformers

encoder-only 구조 이해.

Language Models are Few-Shot Learners

GPT-3, decoder-only LLM 스케일링.

LLaMA: Open and Efficient Foundation Language Models

현대 오픈 LLM 기본 구조 감 잡기.

Mistral 7B

GQA, sliding-window attention 등 효율 구조.

Mixtral of Experts

Sparse MoE 구조.

DeepSeek-V3 Technical Report

MLA, DeepSeekMoE 등 최신형 구조 참고.

내부 부품

RoFormer: Enhanced Transformer with Rotary Position Embedding

RoPE 위치 임베딩.

GLU Variants Improve Transformer

SwiGLU/GEGLU 같은 FFN 활성화 구조.

Root Mean Square Layer Normalization

RMSNorm.

GQA: Training Generalized Multi-Query Transformer Models

MHA, MQA, GQA 차이.

Transformer Feed-Forward Layers Are Key-Value Memories

FFN이 “메모리”처럼 동작한다는 관점.

내부 해석 / 회로

A Mathematical Framework for Transformer Circuits

Transformer를 회로처럼 분석하는 기초.

In-context Learning and Induction Heads

induction head와 in-context learning 메커니즘.

Interpretability in the Wild: IOI Circuit in GPT-2 small

GPT-2 내부 회로를 실제 태스크에서 분석.

Toy Models of Superposition

한 뉴런/방향에 여러 feature가 겹치는 현상.

Sparse Autoencoders Find Highly Interpretable Features in Language Models

SAE로 내부 feature 분해.

Towards Monosemanticity

다의적 뉴런 대신 feature 단위로 보는 접근.

Scaling Monosemanticity

Claude 3 Sonnet 규모에서 SAE 적용.

Circuit Tracing: Revealing Computational Graphs in Language Models

내부 계산 그래프 추적.

Verbalizable Representations Form a Global Workspace in Language Models

2026 최신. LLM 내부 표현이 “global workspace”처럼 형성되는지 분석.