★ 3
arXiv 发布拉丁语编码器 LAMB 及两个语料库
研究者推出基于 ModernBERT 架构的拉丁语编码器 LAMB，分两阶段在超 740 亿拉丁语 token 上预训练，并采用形态学驱动的掩码策略。同时发布 Acervus 与 Corpus Trinum 两个语料库，后者为首个拉丁语语义三元组数据集。在 17 个子任务中 LAMB 于 16 项…
arXiv NLP7 天前
#编码器
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
UltraBERT：突破 BERT 预训练极限的双向编码器
研究者提出 UltraBERT，通过为低和高掩码率分配独立 LM 头并限制蒸馏目标，首次在分类和检索任务上同时达到最优。GLUE 得分 91.0，BEIR 得分 47.7，并揭示编码器在数万亿 token 后饱和、低掩码率利于分类而高掩码率利于检索等发现。
arXiv NLP19 天前
★ 2
研究者发布冰岛语 ModernBERT 编码器，参数覆盖 1200 万至 10 亿
一篇 arXiv 论文基于 ModernBERT 架构训练了冰岛语编码器，参数规模从 1200 万到 10 亿，使用 90 亿 token 开放数据。其中 10 亿参数版本据称是首个该规模的单语冰岛语编码器，在全部 11 项任务上显著优于 IceBERT。研究还系统验证了从英语 Ettin 编码器…
arXiv NLP5 天前
★ 2
arXiv 研究闭集决策编码器：6800 万参数超越 DeBERTa-v3
论文探讨工具选择等闭集决策任务所需编码器的最小规模，以及应联合读取选项还是逐项打分。在 3200 万参数三随机种子实验中，逐项打分在匹配优化步数下高出联合打分 5.8 个技能点，但需 5–13 倍编码器前向。发布的六个联合编码器中，6800 万与 1.5 亿参数模型在 System1-Arena …
arXiv NLP10 天前
★ 2
arXiv 论文：Verdict-MQ 一次编码回答多问题
论文提出 Verdict-MQ，一种开放编码器，一次读取案例即可回答所有类型化问题。结构化注意力掩码使状态编码独立于问题、问题之间互不影响，并使选项顺序无关。在类型化决策基准上，395M 的 Verdict-MQ 在五个随机种子上显著优于 421M 的 Laya 专家模型。
arXiv NLP17 天前
★ 2
蛋白质类增量学习基准：视觉CIL方法难以迁移
该论文对九种代表性类增量学习（CIL）方法在五种蛋白质编码器（序列、结构及序列-结构）和两个酶功能数据集上进行了受控基准测试，编码器保持冻结。结果显示没有方法能可靠跨编码器迁移，失败源于梯度稳定性信号弱、嵌入几何异质性大以及协方差假设容量不匹配。作者认为表示本身应被视为持续学习设计的核心组件，而非…
arXiv cs.LG18 天前