ストリーミング(Server-Sent Events)はLLMがトークンを生成した瞬間から順次クライアントへ送り出す方式です。応答全体の完成を待たず、文字がタイプライターのように現れるあのUXはこれで実現されています。

APIでstream: trueを有効化すると、応答がdata:イベントに分割されて流れてきます。長文応答ほど体感速度が明確に上がり、離脱率も下がるため、チャットUIではストリーミングなしの実装のほうが珍しくなってきています。

→ 原典: OpenAI · Streaming 文書