★ 3
面向 LLM 定向危害缓解的模块化框架
论文提出模块化纠错框架，通过 Activated LoRA 适配器与上下文感知路由机制，在生成过程中低延迟地定向消除偏见、毒性等有害输出。专家适配器可在序列中途激活而不使 KV 缓存失效，在安全基准上提升对齐同时保持任务性能。
arXiv cs.LG48 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出模块化纠错框架，通过 Activated LoRA 适配器与上下文感知路由机制，在生成过程中低延迟地定向消除偏见、毒性等有害输出。专家适配器可在序列中途激活而不使 KV 缓存失效，在安全基准上提升对齐同时保持任务性能。
论文研究稀疏MoE模型中专家选择轨迹的可预测性，检验紧邻前一次选择是否足以预测下一路由。基于冻结的OLMoE与JetMoE模型，将历史从一层扩展到十一层使路由logit R²从0.599升至0.665，JetMoE复现实验也显示显著增益。结果表明专家选择轨迹中存在超越相邻层持续性的残差预测结构。