No pain, No gain

Data & AI
Systems Engineer

백엔드 개발과 DBA 경험을 기반으로 데이터 파이프라인과
LLM·RAG·Knowledge Graph를 연결하는 시스템을 설계하고 구현합니다.

Latest logs

Attention Is All You Need를 읽으며 다시 본 Transformer의 본질

RNN을 없앴다는 한 문장을 넘어, Transformer가 토큰 사이의 정보 이동을 어떻게 다시 설계했는지 계산 흐름으로 읽었다.

minGPT를 시작하기 전에 정리한 Shakespeare GPT의 전체 흐름

작은 Shakespeare GPT를 직접 학습하기 전에 필요한 개념과 minGPT의 데이터·forward·loss·학습·생성 흐름을 소스 순서대로 정리했다.

The Illustrated Transformer를 tensor shape으로 다시 읽기

The Illustrated Transformer의 직관을 실제 QKV tensor와 attention 계산 순서로 옮겨, 한 문장이 block을 통과하는 흐름을 다시 그렸다.

Engineering focus
RAG map

RAG, 검색을 넘어 구조로 Deep Diving

단순 chunk 검색을 넘어서 GraphRAG, ontology, entity map, vector index가 어떻게 연결되는지 작은 실험 단위로 기록합니다.

RAG 전체 구조 보기 ↗
Career bridge