各方报道 1 篇
arXiv cs.LG·10-15 12:00★ 3
arXiv 提出 SQUELCH：LoRA 秩一专家的噪声门限路由
原文 论文将 token 需要多少秩一组件视为检测问题，提出无路由器的秩一专家混合方法 SQUELCH。它对每个 token 的响应按其自身稳健噪声水平软阈值化，用 Stein 无偏风险估计选阈值，并通过解释消除步骤抑制冗余组件。在 LLaMA-3.1-8B、Qwen3 等模型上优于 LoRA 2.2-3.2 分。
论文将 token 需要多少秩一组件视为检测问题，提出无路由器的秩一专家混合方法 SQUELCH。它对每个 token 的响应按其自身稳健噪声水平软阈值化，用 Stein 无偏风险估计选阈值，并通过解释消除步骤抑制冗余组件。在 LLaMA-3.1-8B、Qwen3 等模型上优于 LoRA 2.2-3.2 分。