---
title: "LLM 내부구조 이해용 핵심 논문 리스트"
slug: "llm-internal-structure-core-papers"
category: "AI / LLM"
topic: "ai-llm"
subtopic: "transformer"
tags: ["LLM","Transformer","Mechanistic Interpretability","Paper Reading"]
status: "published"
created: "2026-07-23"
updated: "2026-07-23"
summary: "LLM 내부구조를 아키텍처, 내부 모듈, 기계적 해석가능성, 지식 저장과 수정 순서로 보기 위한 핵심 논문 목록."
kind: "Study Note"
evidence: "논문 리스트 정리"
series: "LLM 내부구조 읽기"
---

LLM “내부구조” 이해용 핵심 논문 리스트다.

크게 **아키텍처 → 내부 모듈 → 기계적 해석가능성** 순서로 보면 좋다.

## 먼저 읽기

### Attention Is All You Need

Transformer 원형. Self-attention, multi-head attention, FFN, residual 구조.

### A Primer on the Inner Workings of Transformer-based Language Models

내부 작동 방식 입문용. decoder-only LLM 중심.

### A Practical Review of Mechanistic Interpretability for Transformer-Based Language Models

해석가능성 전체 지도.

## LLM 아키텍처

### BERT: Pre-training of Deep Bidirectional Transformers

encoder-only 구조 이해.

### Language Models are Few-Shot Learners

GPT-3, decoder-only LLM 스케일링.

### LLaMA: Open and Efficient Foundation Language Models

현대 오픈 LLM 기본 구조 감 잡기.

### Mistral 7B

GQA, sliding-window attention 등 효율 구조.

### Mixtral of Experts

Sparse MoE 구조.

### DeepSeek-V3 Technical Report

MLA, DeepSeekMoE 등 최신형 구조 참고.

## 내부 부품

### RoFormer: Enhanced Transformer with Rotary Position Embedding

RoPE 위치 임베딩.

### GLU Variants Improve Transformer

SwiGLU/GEGLU 같은 FFN 활성화 구조.

### Root Mean Square Layer Normalization

RMSNorm.

### GQA: Training Generalized Multi-Query Transformer Models

MHA, MQA, GQA 차이.

### Transformer Feed-Forward Layers Are Key-Value Memories

FFN이 “메모리”처럼 동작한다는 관점.

## 내부 해석 / 회로

### A Mathematical Framework for Transformer Circuits

Transformer를 회로처럼 분석하는 기초.

### In-context Learning and Induction Heads

induction head와 in-context learning 메커니즘.

### Interpretability in the Wild: IOI Circuit in GPT-2 small

GPT-2 내부 회로를 실제 태스크에서 분석.

### Toy Models of Superposition

한 뉴런/방향에 여러 feature가 겹치는 현상.

### Sparse Autoencoders Find Highly Interpretable Features in Language Models

SAE로 내부 feature 분해.

### Towards Monosemanticity

다의적 뉴런 대신 feature 단위로 보는 접근.

### Scaling Monosemanticity

Claude 3 Sonnet 규모에서 SAE 적용.

### Circuit Tracing: Revealing Computational Graphs in Language Models

내부 계산 그래프 추적.

### Verbalizable Representations Form a Global Workspace in Language Models

2026 최신. LLM 내부 표현이 “global workspace”처럼 형성되는지 분석.

## 지식 저장/수정

### Locating and Editing Factual Associations in GPT

ROME. 사실 지식이 어느 층/모듈에 저장되는지.

### Mass-Editing Memory in a Transformer

MEMIT. 여러 지식 동시 편집.

## 추천 순서

내 추천 순서:

**2 → 1 → 6 → 14 → 15 → 16 → 18 → 19 → 22**

이 루트면 “구조”와 “실제로 내부에서 뭘 하는지”가 같이 잡힌다.