★ 3
ULME：预测耦合统一 Qwen 文本嵌入与语言建模，MTEB 提升 4.1 分
论文提出 ULME 后训练框架，在因果解码器 LLM 的查询与答案之间插入可学习槽位，用对比损失、语言建模损失与停梯度预测损失联合训练，使生成反向塑造嵌入。在 Qwen2.5、Qwen3 两个家族 0.5B–8B 共八个规模上，单一检查点使 MTEB 提升 3.3–4.1 分，同时收紧 BRIGH…
arXiv NLP10 天前
#语言建模
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究用超立方体旋转稀疏连接替代注意力机制
论文提出用固定、稀疏且逐层旋转的连接方式替代注意力，将序列位置视为超立方体顶点，每层沿不同维度连接邻居，使信息在log₂n层内传遍所有位置，每层仅需2n条连接而非n²。在enwik8字符级语言建模上，混合模型以1/7连接数、少42%参数、2.4倍更快速度取得更低损失，学习率可用窗口也宽4至8倍。
arXiv cs.LG46 天前
★ 2
用神经时序点过程建模语言信息事件到达时间
研究提出用神经时序点过程（TPP）建模文本序列中关键信息承载事件的到达时间，输入事件间隔历史与 LLM 上下文语义表示，预测新词与高惊异度 token 两类事件的未来到达时间。结果显示 LLM 产生新词的速率显著高于人类，而高惊异度 token 无此差异。
arXiv NLP19 天前
★ 2
分块共形注入：循环 Transformer 的残差旋转方法
论文研究循环 Transformer 中跨循环步残差线性映射的几何形式，提出分块共形注入（blockwise conformal injections），将残差拆分为坐标对齐分组并在组内旋转，使每组拥有独立时间尺度且几何保持精确。实验显示该方法在状态追踪与语言建模任务上性能提升。
arXiv cs.LG19 天前
★ 2
Token边界的压缩代价与预测
论文量化预分词边界带来的压缩代价，通过最短路径与词表预算选择从两侧界定最小token数，并用独立整数检查器验证。在英文维基百科上，边界使最优token数增加28.3%至36.8%，BPE高于受限下界2.1%但高于无限制下界10.9%。研究还引入边界许可机制，发现许可10%词表预算即可恢复大部分to…
arXiv cs.AI33 天前