AI / LLM
더보기 ↗08Subtopics
AI와 LLM을 학습하고 구현한 과정을 기록합니다
RNN을 없앴다는 한 문장을 넘어, Transformer가 토큰 사이의 정보 이동을 어떻게 다시 설계했는지 계산 흐름으로 읽었다.
글 읽기 ↗RNN을 없앴다는 한 문장을 넘어, Transformer가 토큰 사이의 정보 이동을 어떻게 다시 설계했는지 계산 흐름으로 읽었다.
작은 Shakespeare GPT를 직접 학습하기 전에 필요한 개념과 minGPT의 데이터·forward·loss·학습·생성 흐름을 소스 순서대로 정리했다.
The Illustrated Transformer의 직관을 실제 QKV tensor와 attention 계산 순서로 옮겨, 한 문장이 block을 통과하는 흐름을 다시 그렸다.
AI와 LLM을 학습하고 구현한 과정을 기록합니다
RNN을 없앴다는 한 문장을 넘어, Transformer가 토큰 사이의 정보 이동을 어떻게 다시 설계했는지 계산 흐름으로 읽었다.
글 읽기 ↗단순 chunk 검색을 넘어서 GraphRAG, ontology, entity map, vector index가 어떻게 연결되는지 작은 실험 단위로 기록합니다.
RAG 전체 구조 보기 ↗