★ 3
Linkup开源1.49亿参数稀疏嵌入模型
Linkup Research发布开源稀疏嵌入模型SPARSEUP，基于1.49亿参数的ModernBERT骨干，在BEIR-13上取得56.4 nDCG@10。模型采用logit shift、每token top-12扩展与大小写折叠保持稀疏性，配合Seismic索引可在约380微秒内达到97%…
MarkTechPost43 天前
#ModernBERT
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究者发布冰岛语 ModernBERT 编码器，参数覆盖 1200 万至 10 亿
一篇 arXiv 论文基于 ModernBERT 架构训练了冰岛语编码器，参数规模从 1200 万到 10 亿，使用 90 亿 token 开放数据。其中 10 亿参数版本据称是首个该规模的单语冰岛语编码器，在全部 11 项任务上显著优于 IceBERT。研究还系统验证了从英语 Ettin 编码器…
arXiv NLP4 天前
这个主题的相关资产
相关公司OpenAI1