★ 3
论文提出SWEAR：按难度自适应分配音频推理算力
arXiv论文针对大型音频语言模型自适应推理中难度估计粗糙的问题，提出五维难度评分与压缩推理轨迹，并给出SWEAR框架，在监督微调中学习难度信号、用强化学习跨推理阶段分配算力。在MMAU-test-mini与MMAR上提升准确率同时显著减少生成token。
arXiv cs.AI21 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
arXiv论文针对大型音频语言模型自适应推理中难度估计粗糙的问题，提出五维难度评分与压缩推理轨迹，并给出SWEAR框架，在监督微调中学习难度信号、用强化学习跨推理阶段分配算力。在MMAU-test-mini与MMAR上提升准确率同时显著减少生成token。
研究发现音频大模型对自身转录可靠性判断很差，多数情况下都认为转录可靠，现有语音质量预测、生成不确定性与 WER 估计信号有限。但可靠性信息强烈编码于音频编码器表示中，据此训练的轻量预测器在域内与跨域 macro-F1 达 81.10% 与 78.09%，可在生成前触发澄清请求，且标签可跨模型家族迁…