★ 2
arXiv：LRCC 低秩条件计算压缩语言模型
研究提出低秩条件计算（LRCC），在每个 Transformer 块训练轻量路由器，在嵌套低秩路径中选择，实现按 token 分配计算量，训练时冻结低秩因子只优化路由器。在 Llama-2-7B 上平均下游准确率比静态低秩压缩提升 7.6 个百分点，并在 Llama-3.2-1B 上同时改善困惑度…
arXiv NLP25 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究提出低秩条件计算（LRCC），在每个 Transformer 块训练轻量路由器，在嵌套低秩路径中选择，实现按 token 分配计算量，训练时冻结低秩因子只优化路由器。在 Llama-2-7B 上平均下游准确率比静态低秩压缩提升 7.6 个百分点，并在 Llama-3.2-1B 上同时改善困惑度…