★ 3
研究在 llama.cpp 上为 Mistral-7B 与 Llama-3.1-8B 改造无界上下文
论文提出通过操纵旋转注意力几何结构，在不修改权重的情况下为现成模型赋予近乎无界的上下文能力。方法保留 8K 近窗口，并用词索引与远窗口槽位在提示中安装远端键值。在 llama.cpp 上对 Mistral-7B 与 Llama-3.1-8B 实现后，32K 至百万 token 的单针检索达 99-…
arXiv NLP5 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出通过操纵旋转注意力几何结构，在不修改权重的情况下为现成模型赋予近乎无界的上下文能力。方法保留 8K 近窗口，并用词索引与远窗口槽位在提示中安装远端键值。在 llama.cpp 上对 Mistral-7B 与 Llama-3.1-8B 实现后，32K 至百万 token 的单针检索达 99-…