RAG와 LLM의 한계 — ChatGPT는 왜 모르는 걸 지어내고, 어떻게 고치나
ChatGPT는 왜 모르는 걸 자신있게 지어낼까. LLM의 다섯 가지 한계부터, 그중 지식·환각을 검색으로 메우는 RAG, 벡터와 내적으로 문단을 찾는 원리, 파인튜닝·시스템 프롬프트의 자리까지.
LLM 이론 집중코스
Transformer — Attention을 쌓으면 어떻게 ChatGPT가 되나
Attention 한 번을 멀티헤드·위치인코딩·FFN으로 묶고 층층이 쌓으면 ChatGPT가 된다. Encoder/Decoder·Masked·Cross-attention, GPT가 왜 Decoder만 쓰는지, 긴 컨텍스트(O(N²)·FlashAttention)까지 고양이 예시로 끝까지.
Attention — ChatGPT가 ‘그 단어’가 누구를 가리키는지 아는 법
Attention이 무엇인가. ChatGPT·Claude가 ‘그 단어’가 문장 속 누구를 가리키는지 아는 원리를 Q·K·V 검색과 softmax(Q·K^T/√d_k)·V 한 줄로, 고양이 예시 숫자까지 끝까지 따라가는 LLM 이론 집중코스 5편.
LLM 디코딩 — ChatGPT가 한 글자가 아니라 한 문장을 매끄럽게 뽑는 정체
LLM 디코딩이란 무엇인가. Beam search가 왜 ChatGPT엔 안 쓰이는지, Min-P·Repetition Penalty·Stop Sequences·Constrained Decoding까지 8개 디코딩 도구를 한 줄로 잇는 LLM 이론 집중코스 4편.