AI / LLM
AI와 LLM을 학습하고 구현한 과정을 기록합니다
Python 기반과 모델 구조부터 애플리케이션 프레임워크, fine-tuning, 추론, 도구 연동과 평가까지. 새로 공부하는 영역을 독립된 세부 주제로 확장해 기록합니다.
- Subtopics
- 08
- Published
- 03
세부 주제를 선택합니다
Transformer
토큰 사이의 정보 흐름을 계산으로 따라간다attention, QKV, position encoding과 GPT 구현을 논문, 그림, 코드의 순서로 연결합니다.
세부 주제 보기 ↗Python for AI
AI 코드를 읽고 실험할 수 있는 Python 기반을 다진다Python 문법과 자료 구조부터 NumPy, PyTorch, 비동기 처리까지 AI 실험에 필요한 기반을 정리합니다.
세부 주제 보기 ↗LangChain
LLM 호출을 실제 애플리케이션 흐름으로 연결한다prompt, structured output, tool calling과 상태 관리가 LangChain 애플리케이션 안에서 이어지는 방식을 구현합니다.
세부 주제 보기 ↗Fine-tuning
목적과 비용에 맞는 모델 적응 방법을 고른다SFT, LoRA와 PEFT의 학습 흐름을 데이터 준비, 메모리 비용, 평가 기준과 함께 실험합니다.
세부 주제 보기 ↗MCP
모델과 도구 사이의 연결 계약을 이해한다host, client, server가 tools, resources, prompts를 주고받는 경계와 실제 통합 흐름을 살펴봅니다.
세부 주제 보기 ↗Inference Systems
생성 과정의 병목을 시스템 관점에서 본다prefill, decoding, KV cache와 serving 병목을 계산량, 메모리, 지연 시간으로 나눠 봅니다.
세부 주제 보기 ↗Evaluation
정확도 한 줄보다 실패 유형을 먼저 정의한다재현 가능한 평가셋과 실패 분류를 통해 모델과 시스템의 품질을 구분해 측정합니다.
세부 주제 보기 ↗Agents
도구 사용과 상태 관리가 만나는 지점을 본다tool use, memory, planning과 실행 제어가 실제 애플리케이션에서 어떻게 이어지는지 확인합니다.
세부 주제 보기 ↗카테고리 전체 공개 기록
Attention Is All You Need를 읽으며 다시 본 Transformer의 본질
RNN을 없앴다는 한 문장을 넘어, Transformer가 토큰 사이의 정보 이동을 어떻게 다시 설계했는지 계산 흐름으로 읽었다.
2026. 07. 17. · 8분 읽기minGPT를 시작하기 전에 정리한 Shakespeare GPT의 전체 흐름
작은 Shakespeare GPT를 직접 학습하기 전에 필요한 개념과 minGPT의 데이터·forward·loss·학습·생성 흐름을 소스 순서대로 정리했다.
2026. 07. 17. · 7분 읽기The Illustrated Transformer를 tensor shape으로 다시 읽기
The Illustrated Transformer의 직관을 실제 QKV tensor와 attention 계산 순서로 옮겨, 한 문장이 block을 통과하는 흐름을 다시 그렸다.
2026. 07. 17. · 7분 읽기