RAG와 LLM의 한계 — ChatGPT는 왜 모르는 걸 지어내고, 어떻게 고치나
ChatGPT는 왜 모르는 걸 자신있게 지어낼까. LLM의 다섯 가지 한계부터, 그중 지식·환각을 검색으로 메우는 RAG, 벡터와 내적으로 문단을 찾는 원리, 파인튜닝·시스템 프롬프트의 자리까지.
자연어로 세계를 설계하다|Vibe Coding 미디어
Vibecoding — Claude Code, Cursor, Codex, Lovable 등 AI와 대화하며 코드를 쓰는 모든 워크플로.
ChatGPT는 왜 모르는 걸 자신있게 지어낼까. LLM의 다섯 가지 한계부터, 그중 지식·환각을 검색으로 메우는 RAG, 벡터와 내적으로 문단을 찾는 원리, 파인튜닝·시스템 프롬프트의 자리까지.
Attention 한 번을 멀티헤드·위치인코딩·FFN으로 묶고 층층이 쌓으면 ChatGPT가 된다. Encoder/Decoder·Masked·Cross-attention, GPT가 왜 Decoder만 쓰는지, 긴 컨텍스트(O(N²)·FlashAttention)까지 고양이 예시로 끝까지.
Attention이 무엇인가. ChatGPT·Claude가 ‘그 단어’가 문장 속 누구를 가리키는지 아는 원리를 Q·K·V 검색과 softmax(Q·K^T/√d_k)·V 한 줄로, 고양이 예시 숫자까지 끝까지 따라가는 LLM 이론 집중코스 5편.
LLM 디코딩이란 무엇인가. Beam search가 왜 ChatGPT엔 안 쓰이는지, Min-P·Repetition Penalty·Stop Sequences·Constrained Decoding까지 8개 디코딩 도구를 한 줄로 잇는 LLM 이론 집중코스 4편.
AI 추론 모델 (o1·GPT-5.4 Pro·Claude Extended Thinking) 작동 원리. 23×47도 못 풀던 LLM이 60년 미해결 Erdős 수학을 80분에 푼 사건과 변형적 창의성 9개 사례까지 LLM 이론 집중코스 3.5편.
ChatGPT 작동 원리는 한 줄로 요약되지 않아요. autoregressive·KV 캐시·GPU·VRAM·양자화·Temperature·컨텍스트 윈도우·JSON streaming까지 LLM 추론의 모든 동작을 학습자가 막히는 자리 그대로 정리한 LLM 이론 집중코스 3편.
공유기 한 대를 살 때 무엇을 봐야 하는가. 작은 집 한 채로 보면 다섯 자리가 한꺼번에 풀린다. 학교 와이파이가 카페보다 오래 걸리는 진짜 이유, 스타벅스가 1시간마다 끊기는 자리까지.
와이파이 비번 입력 후 5 초 동안 공유기 안의 작은 Linux 컴퓨터가 NAT·DHCP·ARP 세 가지 일을 한꺼번에 처리하는 풍경. 마이클이 카페에서 노트북을 열 때마다 그 5 초가 풀린다.
TCP 의 3-way handshake 부터 UDP·HTTP/3·QUIC 까지 학습자 30+ 질문이 한 자리도 안 빠진 결. 사이트가 깨진 풍경의 진짜 이유, 모바일에서 끊김 없는 자리, 빅테크의 표준 투자까지.
192.168.0.10 같은 IP 주소가 32비트 정수의 사람용 표기라는 사실부터 시작해, MAC 주소가 공장 출하 시 칩에 박힌 281조 가지의 영구 식별자라는 자리까지. 패킷의 4겹 양파를 한 문장으로 외우는 결.