Attention — ChatGPT가 ‘그 단어’가 누구를 가리키는지 아는 법
Attention이 무엇인가. ChatGPT·Claude가 ‘그 단어’가 문장 속 누구를 가리키는지 아는 원리를 Q·K·V 검색과 softmax(Q·K^T/√d_k)·V 한 줄로, 고양이 예시 숫자까지 끝까지 따라가는 LLM 이론 집중코스 5편.
Softmax
추론 — ChatGPT 작동 원리, 한 글자씩 답이 나오는 정체
ChatGPT 작동 원리는 한 줄로 요약되지 않아요. autoregressive·KV 캐시·GPU·VRAM·양자화·Temperature·컨텍스트 윈도우·JSON streaming까지 LLM 추론의 모든 동작을 학습자가 막히는 자리 그대로 정리한 LLM 이론 집중코스 3편.