★ 3
用激活修补测量 LLM 遗忘深度
研究者提出通过激活修补（Activation Patching）来量化 LLM 遗忘的深度，并发布 Unlearning Depth Score 项目页面，为机器遗忘评估提供更细粒度的指标。
Hacker News – LLM21 天前
#评测指标
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
论文提出 AliO 方法提升长期时间序列预测输出对齐
论文指出当前长期时间序列预测模型对同一时间戳在不同滞后输入下输出对齐度低，导致预测波动、可靠性下降。作者提出 AliO 方法，在时域与频域减少同一时间戳预测输出差异，并引入 TAM 指标衡量对齐度。实验显示 AliO 将 TAM 提升最多 58.2%，同时保持或提升预测性能最多 27.5%。
arXiv cs.AI24 天前
★ 2
arXiv 论文提出 BRUGEscore 金融长文摘要评测指标
该研究基于伦敦证券交易所 2000 余家上市公司年报（平均约 80 页），在 FNS 2020 数据集上对多种预训练 Transformer 与抽取式摘要方法进行基准测试。作者认为部分评测指标无法反映真实摘要能力，提出 BRUGEscore（ROUGE-2 与 BERTscore 的调和平均），并…
arXiv NLP25 天前