스트리밍(Server-Sent Events)은 LLM이 토큰을 생성하는 즉시 조금씩 클라이언트로 흘려보내는 방식입니다. 전체 응답이 완성될 때까지 기다리지 않고 글자가 타자기처럼 한 글자씩 나타나는 그 UX가 이걸로 구현됩니다.

API에서 stream: true를 켜면 응답이 data: 이벤트로 분할돼 들어옵니다. 긴 답변일수록 체감 속도가 결정적으로 빨라지고, 이탈율도 낮아집니다. 챗 UI에서는 스트리밍 없는 구현이 더 드문 시대가 됐습니다.

→ 원본 소스: OpenAI · Streaming 문서