arXiv cs.AIApple·24 天前★ 2

突破空间壁垒：结构化输出约束加速语言模型推理

原文标题：Breaking the Space Barrier and its Application to Language Model Inference

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文研究语言模型结构化输出（JSON、工具调用）的格式约束问题，证明相关图问题可用极低内存判定，复杂度落在 ReachUL、LOGDCFL 等类中，空间低于 Savitch 定理的 O(log²n)。基于该构造的推理引擎在 Apple M2 Pro 上运行 Qwen3.5-2B/4B，schema 约束抽取比 MLX+llguidance 快 1.2-1.3 倍，语法内存从最高 1.5GB 降至 3MB，16 个工具调用智能体快 2.5 倍。

论文速读 · 四段结构cs.CL去论文速读 →

问题: 结构化输出（JSON、工具调用）的格式约束解码内存开销大、速度慢。
方法: 证明约束自动机图问题可用极低内存判定，并据此实现无表掩码、GPU重算、递归栈与并行字段解码的推理引擎。
结果: Apple M2 Pro上Qwen3.5-2B/4B比MLX+llguidance快1.2-1.3倍，语法内存从最高1.5GB降至3MB，16工具调用智能体快2.5倍
影响: 本地小内存设备也能跑多套语法约束与工具调用，直接降低结构化输出推理的部署成本。