AI / LLM
AI와 LLM을 학습하고 구현한 과정을 기록합니다
Python 기반과 모델 구조부터 애플리케이션 프레임워크, fine-tuning, 추론, 도구 연동과 평가까지. 새로 공부하는 영역을 독립된 세부 주제로 확장해 기록합니다.
- Subtopics
- 11
- Published
- 47
분야 소개11개 주제 · 47개 글
Python 기반과 모델 구조부터 애플리케이션 프레임워크, fine-tuning, 추론, 도구 연동과 평가까지. 새로 공부하는 영역을 독립된 세부 주제로 확장해 기록합니다.
세부 주제11개 보기
세부 주제로 좁혀보기
최신글/ 47
LLM 수학 03 — 미분과 최적화
derivative와 chain rule에서 backpropagation을 유도하고, mini-batch gradient, AdamW, clipping, normalization과 numerical precision까지 학습 경로를 계산한다.
2026. 07. 21. · 16분 읽기LLM 수학 04 — Transformer를 식으로 한 바퀴
token id가 embedding, causal self-attention, FFN, vocabulary logit과 loss를 지나고 생성 시 KV cache로 이어지는 전 과정을 식·shape·비용으로 추적한다.
2026. 07. 21. · 20분 읽기LLM 수학 05 — 검색과 RAG
BM25, dense embedding, contrastive loss, ANN, hybrid fusion과 reranking을 비교하고 Recall·MRR·nDCG로 RAG 실패를 retrieval과 generation 단계로 나눈다.
2026. 07. 21. · 21분 읽기LLM 수학 06 — Fine-tuning, agent와 MCP
SFT·LoRA·preference 학습의 objective를 계산하고, tool 선택과 실행 신뢰도를 분리한 뒤 최신 MCP의 host·client·server 계약과 수학의 경계를 정리한다.
2026. 07. 21. · 25분 읽기Attention Is All You Need를 읽으며 다시 본 Transformer의 본질
RNN을 없앴다는 한 문장을 넘어, Transformer가 토큰 사이의 정보 이동을 어떻게 다시 설계했는지 계산 흐름으로 읽었다.
2026. 07. 17. · 17분 읽기