JevAct 解析:AI agent 動手前的決策閘門,增益其實多來自程式檢查

LLM agent 最怕訂錯票、太早放棄。IBM 的 JevAct 在 agent 執行前加一道閘門:把政策事先編成程式檢查與 yes/no 題,交給便宜的 Kev 決策模型判斷,只在有把握時擋下。本文拆解它的機制,以及實驗裡增益多來自程式、101 個錯誤呼叫有 42 個抓不到的真相。

Context Language Models 解析:讓 agent 用 Bash 改自己的 context

LLM agent 跑久了 context 一定會爆,多半由 harness 用固定規則摘要。Context Language Models(CLM)把模型的 context 鏡像成一個檔案,讓模型用 Bash 想改哪裡就改哪裡。32K 的緊預算下,27B 現成模型零樣本就以較低成本達到相當或稍好的準確率;但論文摘要的大數字多是相對值,本文逐項換回絕對值。

The Tasteful Agent 解析:用 agent 跑過的軌跡,量測並訓練 AI 的決策品味

LLM agent 做長任務時,成敗常取決於中途的決策,評測卻只看最後有沒有做完。The Tasteful Agent 把同一任務分歧的嘗試變成二選一考題,造出 502 題 Taste-Bench:14 個前沿模型最高只有 59.7%,隨機猜是 25%;把偷看答案的老師蒸餾給學生,準確率從 30.0% 升到 47.9%。