CATEGORY / AI-LLM

AI / LLM

AI와 LLM을 학습하고 구현한 과정을 기록합니다

Python 기반과 모델 구조부터 애플리케이션 프레임워크, fine-tuning, 추론, 도구 연동과 평가까지. 새로 공부하는 영역을 독립된 세부 주제로 확장해 기록합니다.

PythonTransformerLangChainFine-tuningLLM Systems

분야 소개11개 주제 · 47개 글

PythonTransformerLangChainFine-tuningLLM Systems

세부 주제11개 보기

Topic filter

11 / 11

Llama 3.1을 다룬 The Llama 3 Herd of Models 논문을 데이터, Transformer, 장문 문맥, 사후 학습, 16K GPU 운영, 안전성, 평가까지 연결해 읽는다. 모델 이름과 벤치마크 점수보다 어떤 시스템 선택이 왜 필요한지 설명한다.

LLM 내부구조를 아키텍처, 내부 모듈, 기계적 해석가능성, 지식 저장과 수정 순서로 보기 위한 핵심 논문 목록.

Transformer를 외우는 글이 아니라 설명할 수 있게 이해하는 글. Attention, QKV, multi-head, encoder-decoder, mask, positional encoding을 원 논문 흐름대로 풀어 쓴다.

RNN을 없앴다는 한 문장을 넘어, Transformer가 토큰 사이의 정보 이동을 어떻게 다시 설계했는지 계산 흐름으로 읽었다.

작은 Shakespeare GPT를 직접 학습하기 전에 필요한 개념과 minGPT의 데이터·forward·loss·학습·생성 흐름을 소스 순서대로 정리했다.