© 2026. All rights reserved.

WebSocket

Serverless 上的長連線：CareerWise 用 SSE 傳送 AI 的回答

AI 對話往往是幾百字，一次傳完要等很久。本文探討 CareerWise 的串流架構：先看 server 端怎麼用 async generator 把 LLM 逐個 token 吐出的回答，依型別轉成 text、status、goal_decomposed 等結構化事件，再以 data: ... 寫進 ReadableStream；接著看 client 端怎麼用 fetch + Reader 接到這條流，用 buffer 把被截斷的 chunk 組成完整事件、逐段累進畫面；最後探討為什麼在 serverless 的 AI 對話場景裡，純 HTTP、可帶認證 header、斷線重連成本低的 SSE，是比 WebSocket 更務實的選擇。

August 12, 2026 Server-Sent Events SSE WebSocket CareerWise Agentic AI Serverless Next.js AI AI Engineering Firebase Firebase Hosting LLM Streaming LLM · 留言