❤️ 🍰 🌹 🎬 🚴♀️ 🏋️♀️ 💻 🚀 💜
這裡記錄了我的學習和開發筆記,歡迎交流 (*´∀`)~♥
© 2026. All rights reserved.
AI 對話往往是幾百字,一次傳完要等很久。本文探討 CareerWise 的串流架構:先看 server 端怎麼用 async generator 把 LLM 逐個 token 吐出的回答,依型別轉成 text、status、goal_decomposed 等結構化事件,再以 data: ... 寫進 ReadableStream;接著看 client 端怎麼用 fetch + Reader 接到這條流,用 buffer 把被截斷的 chunk 組成完整事件、逐段累進畫面;最後探討為什麼在 serverless 的 AI 對話場景裡,純 HTTP、可帶認證 header、斷線重連成本低的 SSE,是比 WebSocket 更務實的選擇。
August 12, 2026 Server-Sent Events SSE WebSocket CareerWise Agentic AI Serverless Next.js AI AI Engineering Firebase Firebase Hosting LLM Streaming LLM · 留言
把問題丟給 AI,一個字一個字吐答案的流暢感,背後其實是 Server-Sent Events 在扛重擔。本文探討 SSE 如何趁 LLM 生成第一個 token 時立刻送到前端、Apigee 的 EventFlow 如何維持毫秒級低延遲、卻又能替串流做 token 計費、內容審核與錯誤處理,以及那些一踩就抓不到任何日誌的端點配置陷阱。
August 9, 2026 Server-Sent Events SSE EventFlow LLM Streaming Agentic AI Apigee Token Quota Model Armor AI Gateway Architecture · 留言
Tool Use 改造完成後,LLM 可以自己決定要不要查知識庫了,但新的問題跟著浮現——當 LLM 決定查資料時,使用者看到的是完全空白的畫面。這篇文章記錄 CareerWise 如何用代理活動饋送(Agent Activity Feed)填補這段 UX 空洞。
July 18, 2026 Agentic Design Pattern Tool Use CareerWise UX Agentic AI LLM Architecture Streaming Server-Sent Events · 留言