ML Foundations
AI를 설명하기 위한 기본 단어부터 차근차근 잡는다
AI, 머신러닝, 딥러닝의 관계와 데이터, 모델, 학습, 예측 같은 기초 개념을 쉬운 예시로 정리합니다.
세부 주제 소개Foundation
AI, 머신러닝, 딥러닝의 관계와 데이터, 모델, 학습, 예측 같은 기초 개념을 쉬운 예시로 정리합니다.
AI / LLM 세부 주제11개 보기
최신글/ 19
층을 더 쌓으면 왜 더 못 배우나 — ResNet의 residual connection
He·Zhang·Ren·Sun의 CVPR 2016 Deep Residual Learning for Image Recognition 원 논문을 12살 독자 기준으로 해부한다. 층을 늘리면 training error까지 나빠지는 degradation 문제, residual function F(x), identity·projection shortcut, convolution과 feature map의 shape 규칙, original post-activation ResNet-50 병목 block의 공식 Caffe 실행 흐름, ImageNet·CIFAR-10 실험 조건과 수치, Python 3.9.6으로 직접 확인한 forward·projection·gradient 경로, 성능·메모리·운영상의 대가와 Transformer residual connection과의 경계를 사실·직접 실행·해석으로 나눈다.
2026. 07. 24. · 42분 읽기한 뉴런에 여러 개념이 들어가는 이유 — Toy Models of Superposition
Elhage 외의 Toy Models of Superposition 원문을 바탕으로, feature가 neuron보다 많을 때 sparse input과 ReLU가 왜 여러 feature를 하나의 activation direction에 겹쳐 넣게 하는지, interference·phase change·geometry·polysemantic neuron을 작은 2-feature 1-dimension 예제로 끝까지 계산한다. Python 3.9.6으로 antipodal superposition의 성공과 동시 활성화 실패를 직접 검증한다.
2026. 07. 24. · 24분 읽기한 사람의 hidden unit만 보고 균형을 맞추는 법 — Layer Normalization
Ba·Kiros·Hinton의 2016년 Layer Normalization 원 논문을 12살 독자 기준으로 해부한다. BatchNorm이 미니배치에 의존해 RNN과 작은 배치에서 겪는 제약, 한 training case의 hidden unit 전체에서 평균·분산을 구하는 LayerNorm 수식, gain·bias, RNN·LSTM 적용 위치, PyTorch normalized_shape와 eps의 실제 경계, BatchNorm과 다른 invariance, 원 논문의 CNN 한계, Python 3.9.6 수치·gradient 직접 검증, Transformer·RMSNorm과의 차이를 사실·직접 실행·해석으로 분리한다.
2026. 07. 24. · 47분 읽기머신러닝과 딥러닝의 차이, EZ하게 설명
AI, 머신러닝, 딥러닝의 관계부터 데이터, 라벨, 모델, 학습, 특징, 신경망까지 처음 보는 사람도 설명할 수 있게 풀어 쓴 입문 글.
2026. 07. 23. · 37분 읽기