★ 3
arXiv 提出 SQUELCH：LoRA 秩一专家的噪声门限路由
论文将 token 需要多少秩一组件视为检测问题，提出无路由器的秩一专家混合方法 SQUELCH。它对每个 token 的响应按其自身稳健噪声水平软阈值化，用 Stein 无偏风险估计选阈值，并通过解释消除步骤抑制冗余组件。在 LLaMA-3.1-8B、Qwen3 等模型上优于 LoRA 2.2-…
arXiv cs.LG18 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文将 token 需要多少秩一组件视为检测问题，提出无路由器的秩一专家混合方法 SQUELCH。它对每个 token 的响应按其自身稳健噪声水平软阈值化，用 Stein 无偏风险估计选阈值，并通过解释消除步骤抑制冗余组件。在 LLaMA-3.1-8B、Qwen3 等模型上优于 LoRA 2.2-…