AI / LLM
AI와 LLM을 학습하고 구현한 과정을 기록합니다
Python 기반과 모델 구조부터 애플리케이션 프레임워크, fine-tuning, 추론, 도구 연동과 평가까지. 새로 공부하는 영역을 독립된 세부 주제로 확장해 기록합니다.
- Subtopics
- 11
- Published
- 47
분야 소개11개 주제 · 47개 글
Python 기반과 모델 구조부터 애플리케이션 프레임워크, fine-tuning, 추론, 도구 연동과 평가까지. 새로 공부하는 영역을 독립된 세부 주제로 확장해 기록합니다.
세부 주제11개 보기
세부 주제로 좁혀보기
최신글/ 47
Language Models are Few-Shot Learners 해부: GPT-3는 예시 몇 개로 왜 일을 바꿔 하는가
Language Models are Few-Shot Learners를 GPT-3의 decoder-only 구조, in-context learning, zero/one/few-shot 평가, 175B 규모·300B 토큰 학습, 데이터 혼입과 프롬프트 운영 한계까지 연결해 읽는다. 예시가 가중치를 바꾸지 않아도 출력을 바꾸는 이유를 작은 계산으로 확인한다.
2026. 07. 24. · 34분 읽기Llama 3 Herd of Models 해부: LLM 한 개가 아니라 운영 가능한 모델군을 만드는 법
Llama 3.1을 다룬 The Llama 3 Herd of Models 논문을 데이터, Transformer, 장문 문맥, 사후 학습, 16K GPU 운영, 안전성, 평가까지 연결해 읽는다. 모델 이름과 벤치마크 점수보다 어떤 시스템 선택이 왜 필요한지 설명한다.
2026. 07. 24. · 40분 읽기LLM의 답 하나를 역추적할 수 있는가 — Circuit Tracing과 Attribution Graph
Ameisen 외의 Circuit Tracing 원문을 기준으로 cross-layer transcoder(CLT), clean prompt에서만 원 모델과 일치하는 local replacement model, attribution graph의 네 node와 Jacobian edge, pruning과 intervention validation을 처음부터 설명한다. Python 3.9.6 표준 라이브러리로 cross-layer reconstruction, baseline error 보정, graph influence, finite perturbation 불일치를 직접 계산한다.
2026. 07. 24. · 27분 읽기LoRA 원 논문 해부: 큰 모델을 얼리고 작은 저랭크 변화만 학습하는 이유
Hu 외의 LoRA 원 논문을 12세 독자 기준으로 해부한다. 동결한 사전학습 가중치 W₀에 저랭크 BA 변화만 더하는 수식, rank·scaling·초기화·병합의 내부 실행, 원 논문 실험 조건과 한계, 공식 loralib source·작은 행렬 직접 검증, full fine-tuning·adapter·prompt tuning·QLoRA의 선택 경계를 사실과 해석으로 분리한다.
2026. 07. 24. · 45분 읽기ReAct 원 논문 해부: 생각하고 도구를 실행하고 관찰로 고치는 에이전트의 최소 원리
Yao 외의 ReAct 원 논문을 12세 독자 기준으로 해부한다. Thought·Action·Observation의 닫힌 고리, 원 논문의 확장 action space와 prompt·Wikipedia 환경·notebook 실행 흐름, HotpotQA·FEVER·ALFWorld·WebShop 결과, 공개 WikiEnv 상태 전이 직접 검증, tool 권한·멱등성·prompt injection·평가·운영 경계를 사실과 해석으로 분리한다.
2026. 07. 24. · 51분 읽기