FIELD / AI-LLM / MATHEMATICS
Mathematics for LLM
공식을 외우지 않고 모델의 계산 경로를 읽는다
선형대수, 확률·정보이론, 미분·최적화부터 Transformer, 검색, 정렬과 도구 사용에 필요한 수학을 손계산과 tensor shape로 연결합니다.
Linear AlgebraProbabilityCalculusOptimizationInformation Theory
세부 주제 소개Foundation
선형대수, 확률·정보이론, 미분·최적화부터 Transformer, 검색, 정렬과 도구 사용에 필요한 수학을 손계산과 tensor shape로 연결합니다.
Linear AlgebraProbabilityCalculusOptimizationInformation Theory
AI / LLM 세부 주제11개 보기
최신글/ 09
06
Study Note
07LLM 수학 03 — 미분과 최적화
derivative와 chain rule에서 backpropagation을 유도하고, mini-batch gradient, AdamW, clipping, normalization과 numerical precision까지 학습 경로를 계산한다.
2026. 07. 21. · 16분 읽기Study Note
08LLM 수학 04 — Transformer를 식으로 한 바퀴
token id가 embedding, causal self-attention, FFN, vocabulary logit과 loss를 지나고 생성 시 KV cache로 이어지는 전 과정을 식·shape·비용으로 추적한다.
2026. 07. 21. · 20분 읽기Study Note
09LLM 수학 05 — 검색과 RAG
BM25, dense embedding, contrastive loss, ANN, hybrid fusion과 reranking을 비교하고 Recall·MRR·nDCG로 RAG 실패를 retrieval과 generation 단계로 나눈다.
2026. 07. 21. · 21분 읽기Study Note
LLM 수학 06 — Fine-tuning, agent와 MCP
SFT·LoRA·preference 학습의 objective를 계산하고, tool 선택과 실행 신뢰도를 분리한 뒤 최신 MCP의 host·client·server 계약과 수학의 경계를 정리한다.
2026. 07. 21. · 25분 읽기