★ 2
ARMOR-DP：多语言 BabyLM 动态采样应对最弱语言漂移
arXiv 论文提出 ARMOR-DP 框架，指出多语言 BabyLM 训练中最弱语言会随训练变化，固定采样比例并不合理。框架从表征、曝光、容量与目标压力四方面诊断失衡，并用各语言验证损失动态更新采样。实验显示动态课程检查点优于静态中文保护基线，且所用中文轮次更少。
arXiv NLP6 天前
#BabyLM
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
BabyLM 研究：韵律结构提升音素语言模型语义组织
论文在 BabyLM 规模下比较正字法基线与三种音韵丰富度条件，训练 1000 万与 1 亿词的 BERT 掩码语言模型，并新建词汇判断与两项语义组织任务。结果显示带韵律标注的音素流在两个规模上都给出最强的分类学组织，且带边界结构的音素模型可与正字法基线竞争。研究还指出此前部分音素模型结果存在伪影。
arXiv NLP13 天前
★ 2
Qwenfant：基于 Qwen3 的字符级 BabyLM 夺冠
该工作为 2026 BabyLM 挑战赛多语言赛道提交方案，使用 LLM 摘要并翻译的数据，证明合成数据可提供更高质量训练语料。通过更大模型与字符级词表两项改动，并配合 LoRA 式微调，最终基于 Qwen3 的模型 Qwenfant 在多语言赛道排名第一。
arXiv NLP18 天前
这个主题的相关资产
相关公司阿里巴巴1