★ 3
arXiv 论文提出 MinimalLM：免训练控制大模型啰嗦输出，省 47.6% token
针对大模型输出过长导致推理延迟与成本上升的问题，论文提出免训练框架 MinimalLM，将「何时停止」与「停止是否结构完整」解耦，结合不确定性感知的停止词调整与完整性护栏。在三个开源模型、330 个问题上，生成 token 减少 47.6%，单条响应加速 19-68%，质量分 8.04/10，远优…
arXiv NLP14 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对大模型输出过长导致推理延迟与成本上升的问题，论文提出免训练框架 MinimalLM，将「何时停止」与「停止是否结构完整」解耦，结合不确定性感知的停止词调整与完整性护栏。在三个开源模型、330 个问题上，生成 token 减少 47.6%，单条响应加速 19-68%，质量分 8.04/10，远优…