★ 2
研究:语言模型会保留已放弃的句法分析痕迹
论文以花园路径句为对象,考察 24 个 1.24 亿至 700 亿参数的开源模型是否延续已放弃的句法分析。结果显示被放弃分析会留下「残留」,提升后续宾语附着倾向,约为真实宾语句效果的四分之三;同时存在朝已消歧结构的适应效应。激活修补实验表明两者分别读取自名词短语状态与消歧处理状态。
arXiv NLP5 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文以花园路径句为对象,考察 24 个 1.24 亿至 700 亿参数的开源模型是否延续已放弃的句法分析。结果显示被放弃分析会留下「残留」,提升后续宾语附着倾向,约为真实宾语句效果的四分之三;同时存在朝已消歧结构的适应效应。激活修补实验表明两者分别读取自名词短语状态与消歧处理状态。