★ 3
研究用状态空间模型做长上下文示例选择
论文利用状态空间模型线性推断时间特性解决长上下文示例选择问题，通过蒸馏Transformer学习小型SSM并映射输出用于下游示例选择。蒸馏SSM近似误差低于0.7%，在文本分类与推理任务上相比基线减少14.2倍FLOPs并提升6.48%准确率。
arXiv cs.LG46 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文利用状态空间模型线性推断时间特性解决长上下文示例选择问题，通过蒸馏Transformer学习小型SSM并映射输出用于下游示例选择。蒸馏SSM近似误差低于0.7%，在文本分类与推理任务上相比基线减少14.2倍FLOPs并提升6.48%准确率。