★ 2
HART：混合注意力-RWKV 时间序列基础模型发布
论文提出 HART，一种交替使用注意力与 RWKV 模块的时间序列基础模型，用于非自回归多步预测。作者分析 RWKV-7 在长时程预测中的退化现象，提出 Placeholder Idling Decay 机制解释原因。HART 仅 36M 参数，在 GIFT-Eval 长时程 MASE 上接近 1…
arXiv cs.LG21 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 HART，一种交替使用注意力与 RWKV 模块的时间序列基础模型，用于非自回归多步预测。作者分析 RWKV-7 在长时程预测中的退化现象，提出 Placeholder Idling Decay 机制解释原因。HART 仅 36M 参数，在 GIFT-Eval 长时程 MASE 上接近 1…