Serverless 上的長連線:CareerWise 用 SSE 傳送 AI 的回答

AI 對話往往是幾百字,一次傳完要等很久。本文探討 CareerWise 的串流架構:先看 server 端怎麼用 async generator 把 LLM 逐個 token 吐出的回答,依型別轉成 text、status、goal_decomposed 等結構化事件,再以 data: ... 寫進 ReadableStream;接著看 client 端怎麼用 fetch + Reader 接到這條流,用 buffer 把被截斷的 chunk 組成完整事件、逐段累進畫面;最後探討為什麼在 serverless 的 AI 對話場景裡,純 HTTP、可帶認證 header、斷線重連成本低的 SSE,是比 WebSocket 更務實的選擇。

Server-Sent Events SSE WebSocket CareerWise Agentic AI


AI 如何像真人般一字一句說話?用 SSE 實現 Stream 流渲染

把問題丟給 AI,一個字一個字吐答案的流暢感,背後其實是 Server-Sent Events 在扛重擔。本文探討 SSE 如何趁 LLM 生成第一個 token 時立刻送到前端、Apigee 的 EventFlow 如何維持毫秒級低延遲、卻又能替串流做 token 計費、內容審核與錯誤處理,以及那些一踩就抓不到任何日誌的端點配置陷阱。

Server-Sent Events SSE EventFlow LLM Streaming Agentic AI


讓 AI 代理學會深思熟慮:推理技巧

AI 代理最大的奢侈不是用多大的模型,而是有沒有被允許「想久一點」。思想鏈、思想樹、自我修正、程式輔助、ReAct、辯論鏈與深度研究背後是同一個原則——把更多計算資源投在推理階段,換來更穩健、透明、可審計的答案。本文探討這些推理技巧的內部迴圈,並用前後端視角告訴我們怎麼把「思考時間」變成系統能調度的資源。

Agentic Design Pattern Agentic AI Reasoning Chain of Thought ReAct


讓 AI 代理聰明更要精明:資源感知最佳化

AI 再聰明,一旦毫無節制地處理請求,下個月的 API 帳單就會狠狠教訓我們。資源感知最佳化讓代理在預算內動態決策:路由器代理分流任務、評論家代理校正路由、順序模型回退維持服務,再到上下文修剪與主動資源預測,從實驗室走向商業級應用的最後一哩路。

Agentic Design Pattern Agentic AI Routing Resource Optimization OpenRouter


A2A 協定:打破 AI 溝通的高牆

一個超大型 LLM 再聰明也有極限,真正的企業級 AI 需要多個專業代理協同作戰。A2A(Agent-to-Agent)協定正是 Google 提出的開放標準,讓用不同框架打造的 AI 代理能互相溝通、委派任務。本文探討代理卡、三種發現策略、四種互動機制、MCP 的互補關係與企業級安全防線。

Agentic Design Pattern Agentic AI A2A Agent to Agent Multi-Agent


RAG:讓 AI 從閉卷考變開卷考

LLM 再聰明,知識也只停在訓練截止日。RAG(Retrieval Augmented Generation)讓 AI 在回答前先查資料,從死背課本的閉卷考生進化成隨時翻書的開卷考生。本文探討嵌入、切塊、向量搜尋、GraphRAG 到代理式 RAG 的完整技術演進。

RAG Retrieval Augmented Generation 檢索增強生成 代理式 RAG Agentic RAG


AI 為什麼需要人類救場:Human-in-the-Loop 架構探討

AI 不是萬能的,遇到信心不足的邊界案例就得找人求救。Human-in-the-Loop 架構如何設計升級機制、信心閥值與回饋迴路,以及工程實作上的規模化、隱私與自動化悖論挑戰。

Agentic Design Pattern Agentic AI HITL Human-in-the-Loop AI Engineering