Inference Optimization - 標籤 - DataSci Ocean

Inference Optimization

2026

便宜判官先判、沒把握才找 GPT-6：JEV 串接真的省錢嗎？ 10-06

宣稱省下 106 倍成本：vLLM 怎麼把 Serving 系統校準給 Agentic Workload 09-24

TypeSafe AI 的 Jev 號稱快 193.6 倍？第三方實測只到約 25 倍 09-22

RecursiveMAS：讓多個 AI Agent 別再打字，直接交換向量 09-10

突破大模型排行榜迷思：用 AgentOpt 自動尋找性價比最高的 AI Agent 模型組合 04-17

RAG 架構大翻轉！MIT 新論文 ReDE-RF：不讓 LLM 寫作改當「裁判」，檢索速度暴增 10 倍 02-03

別再「殺雞用牛刀」！NVIDIA 研究揭示：為什麼小型語言模型 (SLMs) 才是 AI Agent 的真正未來？ 01-19

2025

拒絕 AI 一本正經胡說八道！DeepConf 論文解析：如何利用「信心分數」優化推理並大幅節省 Token? 12-28

2024

[論文介紹] Better & Faster Large Language Models via Multi-token Prediction 07-18