★ 3
RGR：表征几何正则化缓解LLM自我改进能力退化
论文发现On-Policy Self-distillation在提升整体性能的同时会逐步退化已获得能力，伴随隐表征几何恶化。作者提出表征几何正则化RGR，通过增强簇内紧凑与簇间分离保持表征几何，可无缝集成到现有OPSD方法中，缓解能力退化并保留能力提升。
arXiv cs.AI21 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文发现On-Policy Self-distillation在提升整体性能的同时会逐步退化已获得能力，伴随隐表征几何恶化。作者提出表征几何正则化RGR，通过增强簇内紧凑与簇间分离保持表征几何，可无缝集成到现有OPSD方法中，缓解能力退化并保留能力提升。