#推理压缩

重写压缩推理历史可降低智能体推理成本

论文研究开源权重模型能否在不重训的情况下，把先前推理重写为紧凑状态记录，从而缩短后续推理。实验显示被接受的压缩历史通常能减少后续 token 消耗，软件智能体部署中可降低总花费，但任务质量与耗时取决于目标与压缩器。