LLM agent 最怕訂錯票、太早放棄。IBM 的 JevAct 在 agent 執行前加一道閘門:把政策事先編成程式檢查與 yes/no 題,交給便宜的 Kev 決策模型判斷,只在有把握時擋下。本文拆解它的機制,以及實驗裡增益多來自程式、101 個錯誤呼叫有 42 個抓不到的真相。
LLM agent 跑久了 context 一定會爆,多半由 harness 用固定規則摘要。Context Language Models(CLM)把模型的 context 鏡像成一個檔案,讓模型用 Bash 想改哪裡就改哪裡。32K 的緊預算下,27B 現成模型零樣本就以較低成本達到相當或稍好的準確率;但論文摘要的大數字多是相對值,本文逐項換回絕對值。
企業 agent 常是每個團隊一個 subagent,再疊一個 orchestrator,但每次交接都是一次有損摘要。整理 Anthropic 的做法:單一 agent loop 搭配按需載入的 skills 與 tools、用 eval 分階段折疊,以及 Conway's law 為什麼讓 agent 長成組織圖。
LLM agent 做長任務時,成敗常取決於中途的決策,評測卻只看最後有沒有做完。The Tasteful Agent 把同一任務分歧的嘗試變成二選一考題,造出 502 題 Taste-Bench:14 個前沿模型最高只有 59.7%,隨機猜是 25%;把偷看答案的老師蒸餾給學生,準確率從 30.0% 升到 47.9%。
data agent 每次任務都得重新摸索資料長什麼樣子。EvoOntology 在 agent 與資料之間加一層可查詢、會自我修補的 ontology:DDR-Bench 六個 backbone 平均 +17.8 分,把 semantic layer 整包塞進 prompt 反而退步,但換模型就得重新演化。
AI Agent 做長任務常重複無效動作。Procedural Graphs 把做事流程存成可編輯的圖,24 格中 23 格勝過無記憶 ReAct,但 HotpotQA 幾乎沒進步,手寫專家圖在 MultiChallenge 上還可能讓成績崩盤。
自我演化的 agent 只會往 skill 檔案裡加內容。SkillZip 把重複的規則收斂掉,不用任何任務驗證,平均壓縮 31.2%,但準確率與比較對象有幾個要打折的地方。