★ 3
Heirloom 实现手机端个性化适配器跨基座模型迁移
论文提出 Heirloom 系统,用旧个性化模型作教师,在新基座上以无标签输入蒸馏训练新适配器,无需保留用户标注历史。在电影打标任务上迁移后精度与升级前持平,与有标注重训差距不超过 1.7 个百分点;4B 模型迁移在手机 NPU 上耗时 38 分钟、耗电 20%。
arXiv cs.LG10 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 Heirloom 系统,用旧个性化模型作教师,在新基座上以无标签输入蒸馏训练新适配器,无需保留用户标注历史。在电影打标任务上迁移后精度与升级前持平,与有标注重训差距不超过 1.7 个百分点;4B 模型迁移在手机 NPU 上耗时 38 分钟、耗电 20%。