LLM agent 做長任務時,成敗常取決於中途的決策,評測卻只看最後有沒有做完。The Tasteful Agent 把同一任務分歧的嘗試變成二選一考題,造出 502 題 Taste-Bench:14 個前沿模型最高只有 59.7%,隨機猜是 25%;把偷看答案的老師蒸餾給學生,準確率從 30.0% 升到 47.9%。
data agent 每次任務都得重新摸索資料長什麼樣子。EvoOntology 在 agent 與資料之間加一層可查詢、會自我修補的 ontology:DDR-Bench 六個 backbone 平均 +17.8 分,把 semantic layer 整包塞進 prompt 反而退步,但換模型就得重新演化。
AI Agent 做長任務常重複無效動作。Procedural Graphs 把做事流程存成可編輯的圖,24 格中 23 格勝過無記憶 ReAct,但 HotpotQA 幾乎沒進步,手寫專家圖在 MultiChallenge 上還可能讓成績崩盤。
自我演化的 agent 只會往 skill 檔案裡加內容。SkillZip 把重複的規則收斂掉,不用任何任務驗證,平均壓縮 31.2%,但準確率與比較對象有幾個要打折的地方。
CorpusMap 離線把反覆出現的實體解析成 Entity Page 並連到文件,讓 agent 沿連結搜尋:整體品質比直接搜原始文件高 6.4 到 11.7 分,輸入 token 少 34% 到 57%。
ParseBench 把 PDF 解析的評分從「文字像不像」改成「agent 能不能直接拿去用」,表格評分的點子值得借鏡,但廠商自家出題的排行榜數字要打折來看。
SELF-INDEX 讓 LLM 自己找出索引哪裡寫不好、只修有問題的文件,並驗證通過才寫入。工程價值高,但裁判與生成者是同一顆模型,可信度仍有缺口。