★ 2
arXiv 论文提出图像自蒸馏数据密度缩放律
一篇 arXiv 论文研究图像自蒸馏模型中的数据重复训练效应，发现重复使用同一批样本对下游性能的影响因数据集而异，某些情况下在较小随机子集上反复训练反而优于使用更多唯一样本。作者提出一种改进的 Chinchilla 式缩放律，同时考虑唯一样本数与每样本重复次数，为数据-算力权衡提供新框架。
arXiv cs.LG18 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
一篇 arXiv 论文研究图像自蒸馏模型中的数据重复训练效应，发现重复使用同一批样本对下游性能的影响因数据集而异，某些情况下在较小随机子集上反复训练反而优于使用更多唯一样本。作者提出一种改进的 Chinchilla 式缩放律，同时考虑唯一样本数与每样本重复次数，为数据-算力权衡提供新框架。