★ 2
研究用儿童家庭录音训练小 GPT-2，揭示数据来源与多样性对语言学习的影响
论文用密集家庭录音（BabyView）与合成儿童导向对话（TinyDialogues）训练小型 GPT-2，变化数据量、来源与多样性。发现模型对训练所在儿童的语言环境预测显著更好，且该专化多为词汇与分布层面；多儿童数据提升整体预测但语法基准改善不明显。结果表明小数据语言学习取决于数据来自哪些环境及…
arXiv NLP5 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文用密集家庭录音（BabyView）与合成儿童导向对话（TinyDialogues）训练小型 GPT-2，变化数据量、来源与多样性。发现模型对训练所在儿童的语言环境预测显著更好，且该专化多为词汇与分布层面；多儿童数据提升整体预测但语法基准改善不明显。结果表明小数据语言学习取决于数据来自哪些环境及…
论文提出 PLDiv，一种基于持续景观（persistence landscapes）的多样性指标，从几何表示刻画数据集的结构组织，无需任务特定监督即可给出可解释的标量度量。PLDiv 在文本生成与图像嵌入的多样性测量、指令数据与推理轨迹的语义坍缩检测上表现有竞争力，可支持合成数据监控与数据集构建。