FIELD / AI-LLM / TRANSFORMER

Transformer

토큰 사이의 정보 흐름을 계산으로 따라간다

attention, QKV, position encoding과 GPT 구현을 논문, 그림, 코드의 순서로 연결합니다.

AttentionQKVTensor ShapeminGPTGPT

세부 주제 소개Active

attention, QKV, position encoding과 GPT 구현을 논문, 그림, 코드의 순서로 연결합니다.

AttentionQKVTensor ShapeminGPTGPT

AI / LLM 세부 주제11개 보기

Llama 3.1을 다룬 The Llama 3 Herd of Models 논문을 데이터, Transformer, 장문 문맥, 사후 학습, 16K GPU 운영, 안전성, 평가까지 연결해 읽는다. 모델 이름과 벤치마크 점수보다 어떤 시스템 선택이 왜 필요한지 설명한다.

LLM 내부구조를 아키텍처, 내부 모듈, 기계적 해석가능성, 지식 저장과 수정 순서로 보기 위한 핵심 논문 목록.

Transformer를 외우는 글이 아니라 설명할 수 있게 이해하는 글. Attention, QKV, multi-head, encoder-decoder, mask, positional encoding을 원 논문 흐름대로 풀어 쓴다.

RNN을 없앴다는 한 문장을 넘어, Transformer가 토큰 사이의 정보 이동을 어떻게 다시 설계했는지 계산 흐름으로 읽었다.

작은 Shakespeare GPT를 직접 학습하기 전에 필요한 개념과 minGPT의 데이터·forward·loss·학습·생성 흐름을 소스 순서대로 정리했다.