SSE (Server-Sent Events)は、サーバが1本のHTTP接続を維持したままクライアントへイベントを連続プッシュするプロトコルです。WebSocketのような双方向ではなく、サーバ→クライアントの一方向ストリームです。

LLM APIではstreamingレスポンスの基本伝送方式として使われます。stream: trueでリクエストすると、サーバはトークン生成と同時にdata: {...}\n\nのチャンクで返してくれるので、ChatGPTのように文字が一文字ずつ流れてくるUXが実現できます。Time to First Token(TTFT)も短縮されます。

Anthropicはmessage_start → content_block_delta × N → message_stopのイベントシーケンス、OpenAIはchoices[0].delta.contentのトークン断片と最後の[DONE]で終了を伝えます。

P2. APIでLLMを呼ぶとは記事でstreamingメカニズムの全体flowを整理しました。

→ 1次ソース: MDN · Using Server-Sent Events