★ 2
GardenBench 发布:11 套测试每日评测大模型能力
研究者提出 GardenBench,包含 11 个测试套件,用轻量查询每日评测大模型在通用任务上的表现,并记录成本与耗时。该基准通过实时仪表盘公开结果,可捕捉模型上线后变更或新版本发布带来的性能波动与退化。
arXiv cs.AI13 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究者提出 GardenBench,包含 11 个测试套件,用轻量查询每日评测大模型在通用任务上的表现,并记录成本与耗时。该基准通过实时仪表盘公开结果,可捕捉模型上线后变更或新版本发布带来的性能波动与退化。
一段视频介绍数学家最新研究,探讨如何从数学上防止 AI 模型在持续训练中出现“脑腐”(brain rot)式的性能退化。该话题与模型崩溃、灾难性遗忘等持续学习难题相关。
NerfWatch 是一个通过每日测试和社区投票来追踪 AI 模型性能退化的工具。它试图量化模型随时间推移出现的质量下降问题,为开发者提供监控手段。