★ 2
arXiv 用计算模型数学验证语言行为 Min-Max 理论
论文对语言行为的 Min-Max 理论进行数学验证,该理论认为人类同时最小化处理成本并最大化信息量,是语言演化的主要驱动力。作者用预训练与迭代学习模型在合成数据上实验,发现操纵 token 长度与信息权重会导致词序变化,符合理论预测。研究同时指出当前 Transformer 模型与人类语言数据存在…
arXiv NLP14 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文对语言行为的 Min-Max 理论进行数学验证,该理论认为人类同时最小化处理成本并最大化信息量,是语言演化的主要驱动力。作者用预训练与迭代学习模型在合成数据上实验,发现操纵 token 长度与信息权重会导致词序变化,符合理论预测。研究同时指出当前 Transformer 模型与人类语言数据存在…