LLM

Serverless 上的長連線:CareerWise 用 SSE 傳送 AI 的回答

AI 對話往往是幾百字,一次傳完要等很久。本文探討 CareerWise 的串流架構:先看 server 端怎麼用 async generator 把 LLM 逐個 token 吐出的回答,依型別轉成 text、status、goal_decomposed 等結構化事件,再以 data: ... 寫進 ReadableStream;接著看 client 端怎麼用 fetch + Reader 接到這條流,用 buffer 把被截斷的 chunk 組成完整事件、逐段累進畫面;最後探討為什麼在 serverless 的 AI 對話場景裡,純 HTTP、可帶認證 header、斷線重連成本低的 SSE,是比 WebSocket 更務實的選擇。

Server-Sent Events SSE WebSocket CareerWise Agentic AI Serverless Next.js AI AI Engineering Firebase Firebase Hosting LLM Streaming LLM · 留言


CareerWise MCP 整合實戰:把 LLM 的工具從硬寫變成模組化

當 function calling 的 JSON schema 愈寫愈長、工具管理愈來愈亂的時候,MCP (Model Context Protocol) 就像一個標準化的接口層,讓 LLM 的工具發現、呼叫、管理變得井然有序。這篇記錄了 CareerWise 從手寫工具定義到 MCP 架構的完整整合過程。

MCP Model Context Protocol LLM CareerWise AI FastMCP · 留言


grill-me + graphify:AI 代理開發的拷問與地圖

grill-me 與 graphify 是 AI 代理工作流中兩個互補的開源模組。grill-me 用決策樹拷問把需求問到透徹,graphify 把程式庫轉成知識圖譜讓 AI 看懂全局。兩個合起來用比單用任何一個更強。

Agentic AI Graphify grill-me CareerWise LLM AI AI Engineering RAG Retrieval Augmented Generation 檢索增強生成 · 留言


CareerWise 審查代理升級:讓 AI 自己檢查自己的回答

評論家與審查者模式的概念很簡單:把「生成」和「驗證」兩個功能拆開。最近趁著升級 CareerWise 審查代理的機會,把原本只有單次檢查的架構改成了 review → rewrite 迭代迴圈。

審查代理 Agentic Design Pattern Agentic AI CareerWise AI 幻覺 AI LLM UX Architecture Design Pattern · 留言


多代理協作(Multi-Agent Collaboration)— 從單打獨鬥的 AI 到各司其職的 AI 專家團隊

當任務複雜度超過單一 LLM 的處理能力時,與其養一個無所不能的超級大腦,不如組建一支各司其職的 AI 專家團隊。本文探討多代理協作的核心機制、六種協作模式與通訊架構,並以 CrewAI 與 Google ADK 為例展示實作方式。

Agentic Design Pattern Multi-Agent A2A Agent to Agent AI 幻覺 Agentic AI CareerWise LLM AI UX Architecture Design Pattern · 留言


CareerWise 規劃審查模式 — 讓 AI 先提出分析規劃再執行

目前的 career chain 拿到問題就直接跑分析,使用者看不到 CareerWise 打算從哪些角度切入。參考 Google Deep Research 的「先擬規劃、再送審查」設計,讓使用者在分析開始前先看到分析面向,有意見可以調整,批准後才執行。

Agentic Design Pattern CareerWise Planning Agentic AI LLM AI UX Architecture Design Pattern · 留言


CareerWise 代理活動饋送 — 修補 Tool Use 的 UX 空洞

Tool Use 改造完成後,LLM 可以自己決定要不要查知識庫了,但新的問題跟著浮現——當 LLM 決定查資料時,使用者看到的是完全空白的畫面。這篇文章記錄 CareerWise 如何用代理活動饋送(Agent Activity Feed)填補這段 UX 空洞。

Agentic Design Pattern Tool Use CareerWise UX Agentic AI LLM Architecture Streaming Server-Sent Events · 留言


CareerWise 從強制注入到 Tool Use:逐步重構 LLM 知識庫搜尋的真實案例

以 CareerWise 職涯諮詢機器人為例,記錄逐步將強制塞入知識庫 chunk 的架構,重構為 LLM 自主決定是否搜尋的 Tool Use 模式的完整過程,包含 streaming + tool call 的實作細節與邊界情況。

Agentic Design Pattern Agentic AI Tool Use Function Calling LLM CareerWise AI Architecture Design Pattern · 留言


AI 代理的規劃能力:從被動反應到主動佈局

探討 AI 代理的規劃模式(Planning),從運作機制、適用場景、開發框架到 Google Deep Research 與 OpenAI Deep Research API,並反思自主代理在動態調整與人類控制之間的權衡。

Agentic Design Pattern Agentic AI LLM MCP Planning Google Deep Research AI Design Pattern Architecture · 留言


打破文字監獄:LLM 工具呼叫(Tool Use)與函式呼叫(Function Calling)的實作與應用

從 LLM 只能生成文字的困境出發,探討工具呼叫(Tool Use / Function Calling)的運作機制、應用場景與開源框架應用,最後反思多代理協作下的責任歸屬。

Agentic Design Pattern Tool Use Function Calling Agentic AI LLM AI 幻覺 LangChain CrewAI Google ADK AI Design Pattern Architecture · 留言


CareerWise 平行化架構設計 — 讓 AI 從單一觀點升級為團隊分析

當使用者問「該不該離職」這種跨領域問題時,循序搜尋知識庫的瓶頸開始浮現。本文記錄 CareerWise 如何導入 Agentic Design Pattern 中的平行化模式(Parallelization),讓三個 AI 角色同步分析薪資市場、技能成長與求職準備,再經由合併代理產出多面向的結構化報告。

Agentic Design Pattern Parallelization CareerWise AI 幻覺 AI Agentic AI LLM Design Pattern Architecture · 留言


利用 Agentic Design Pattern 重構 CareerWise — 從單一流程到路由、提示鏈與反思模式

分享如何將 Agentic Design Pattern 落地到 CareerWise 職涯諮詢平台,從無差別的單一 LLM 流程,逐步導入意圖路由、混合路由、提示鏈與反思模式,打造更聰明且更省成本的 AI 架構。

Agentic Design Pattern Routing Prompt Chaining CareerWise AI 幻覺 Intent Routing Embedding Based Routing Reflection AI Agentic AI LLM Design Pattern Architecture · 留言


自主 AI 代理的進化之路:從架構設計、意圖分流到平行加速

分析自主 AI 代理的核心架構,從代理五步循環與四層進化等級出發,探討四種路由機制的設計取捨,再到平行化模式與非同步加速的工程實踐,最後總結和展望多代理時代的錯誤防禦與五大未來假設。

Agentic Design Pattern Prompt Chaining Embedding Based Routing AI 幻覺 Routing Reflection Agentic AI Multi-Agent AI AI Engineering Architecture CareerWise Design Pattern LLM · 留言


Graphify:讓 AI 掌握程式碼結構,打破「文字碎紙機」的 RAG 效能天花板

Graphify 如何用知識圖譜(Knowledge Graph)取代傳統 RAG,讓 AI 真正讀懂程式碼結構,實現 71.5 倍的 Token 壓縮效益。

AI Graphify RAG Retrieval Augmented Generation 檢索增強生成 AI 幻覺 Agentic AI Knowledge Graph LLM AI Engineering Agent to Agent · 留言