Home avatar

不只學「對」的,更要學「錯」的?深入解析 SENSE 如何用強弱 LLM 打造頂尖 Text-to-SQL 模型 (ACL 2024)

想了解如何提升 Text-to-SQL 模型表現嗎?本文深入解析 ACL 2024 的 SENSE 論文,看它如何巧妙利用強、弱大型語言模型 (LLM) 生成合成資料,並結合 SFT 與 DPO 兩階段訓練,讓開源模型的 SQL 生成能力達到頂尖水準。

[論文介紹] Decoupled Planning and Execution: A Hierarchical Reasoning Framework for Deep Search

本篇文章介紹 Decoupled Planning and Execution: A Hierarchical Reasoning Framework for Deep Search 論文。本篇論文針對 Deep Search 的技術提出了一個 Planner-Coordinator-Executor 的模式。相較於常見的 Planner-Executor 模式,我認為 Coordinator 的設計是本篇論文的亮點之一。透過 Coordinator 優化了 Executor 回傳給 Planner 的執行結果的資訊,也透過 Memory Mechanism 來提昇 Executor 之間資訊的傳遞。在實驗結果上,也可以看到 HiRA 相較於 Strong Baseline WebThinker 有更好的表現。

[論文介紹] Augmenting LLM Reasoning with Dynamic Notes Writing for Complex QA

本篇文章介紹 Augmenting LLM Reasoning with Dynamic Notes Writing for Complex QA 論文。NotesWriting 的目標在於減少 Multi-Hop RAG 中,由於進行多次的 Retrieval,使得過多不相關資訊進入到 LLM Context 中,而使得 LLM 表現變差的問題。NotesWriting 針對每個 Retrieved Document 進行 Notes Extract,再將所有 Extract 出來的 Note 進行 Aggregation,得到最終少量且重要的資訊,來提昇 LLM Context 的品質進而提昇 LLM 的表現。

[論文介紹] AutoMind: Adaptive Knowledgeable Agent for Automated Data Science

在本篇文章中,我們介紹了 AutoMind 論文,理解如何透過 Large Reasoning Model (e.g. o3-mini, deepseek-v3) 結合 (1) Expert Knowledge Base (2) Agentic Knowledgeable Tree Search 以及 (3) Self-Adpative Coding Strategy 建立一個 Agentic Framework 來處理 Data Science Task。