★ 3
论文提出语言模型柏拉图表示理论解释
论文为多语言模型中翻译句表示相似（柏拉图表示假说）提供理论解释，基于数据隐藏层级结构假设。用共享上层产生式的概率上下文无关文法生成合成语言，证明贝叶斯最优预测器为信念传播，其逐层消息编码与Transformer训练结果吻合。框架解释了跨语言相似度在中层达峰、随语言接近度增强等现象。
arXiv cs.LG26 天前
#多语言模型
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
arXiv 论文提出关系可辨识假说解释多语言模型跨语言泛化
该论文提出「关系可辨识假说」，认为共享世界中的关系结构能排除错误的跨语言对应，从而促进实体对齐。作者在双语 Transformer 的模运算世界中验证：减法使零在任务层面可辨识，引发选择性对齐；顺序敏感操作则带来广泛对齐。这些模式可预测零样本跨语言迁移的成功。
arXiv NLP3 天前
★ 2
研究者发布冰岛语 ModernBERT 编码器，参数覆盖 1200 万至 10 亿
一篇 arXiv 论文基于 ModernBERT 架构训练了冰岛语编码器，参数规模从 1200 万到 10 亿，使用 90 亿 token 开放数据。其中 10 亿参数版本据称是首个该规模的单语冰岛语编码器，在全部 11 项任务上显著优于 IceBERT。研究还系统验证了从英语 Ettin 编码器…
arXiv NLP5 天前
★ 2
ARMOR-DP：多语言 BabyLM 动态采样应对最弱语言漂移
arXiv 论文提出 ARMOR-DP 框架，指出多语言 BabyLM 训练中最弱语言会随训练变化，固定采样比例并不合理。框架从表征、曝光、容量与目标压力四方面诊断失衡，并用各语言验证损失动态更新采样。实验显示动态课程检查点优于静态中文保护基线，且所用中文轮次更少。
arXiv NLP6 天前
★ 2
多语言大模型否定表征因果分析：跨语言共享
研究在六个开源模型上对英、法、越、中四种语言做因果干预，发现否定表征可被因果控制且跨语言高度共享。单一稀疏自编码器特征即可控制多语言极性，干预还能泛化到另外四种语言。作者开源了数据与代码。
arXiv NLP7 天前
★ 2
AQL-Lite 框架发布：低成本持续预训练提升阿拉伯语大模型
研究者提出 AQL-Lite 框架，通过高质量数据筛选与部分参数持续预训练，将多语言大模型适配到现代标准阿拉伯语。在 5B token 对比中，该方法以 52% 的实际耗时达到全参数持续预训练 94% 的增益。扩展至 40B token 后，12B 模型在 Open Arabic LLM Lead…
arXiv NLP10 天前
★ 2
研究：LLM 内部表征中现代标准阿拉伯语并未主导方言
研究者将语言主导性框架应用于 26 种阿拉伯语变体，检验 LLM 内部表征是否被现代标准阿拉伯语（MSA）主导。结果显示没有证据表明 MSA 构成方言的主导内部表征，方言表征形成高度重叠空间。该发现挑战了 MSA 偏置生成源于内部表征主导的常见解释。
arXiv NLP24 天前
★ 2
多语言模型首词语言广播电路解析
研究对 GPT-2、BLOOM-560M、Pythia-1B/2.8B 与 Qwen2.5-1.5B 六个模型做端到端结构电路分析，定位决定首词语言身份的有向无环图。结果显示广播枢纽多位于中深层，Qwen2.5 基座与指令版电路相似度达 84.7%，说明首词路由主要在预训练阶段形成。研究还发现 E…
arXiv cs.AI35 天前
★ 2
孟加拉语医学NER：语言特异性与领域多样性基准
论文对孟加拉语医学命名实体识别进行大规模基准评测，比较BanglaBERT、mBERT、XLM-RoBERTa微调模型与GPT-4o mini的零样本/少样本提示。微调XLM-RoBERTa以0.5959的F1刷新SOTA，而语言专用的BanglaBERT仅0.4937，说明预训练领域多样性可能比…
arXiv cs.LG38 天前