★ 3
研究揭示自动可解释性评测数据存在结构性捷径
论文发现标准流水线构建的自动可解释性评测数据可在不阅读解释的情况下被打分：在 Neuronpedia 存储的 500 个 GPT-2 small 特征上，仅凭中心 token 是否标记的规则即达 0.979 平衡准确率，高于存储的 LLM 打分器 0.838。作者建议评分应与同批次最优无解释规则并…
arXiv NLP3 天前
#GPT-2
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究用儿童家庭录音训练小 GPT-2，揭示数据来源与多样性对语言学习的影响
论文用密集家庭录音（BabyView）与合成儿童导向对话（TinyDialogues）训练小型 GPT-2，变化数据量、来源与多样性。发现模型对训练所在儿童的语言环境预测显著更好，且该专化多为词汇与分布层面；多儿童数据提升整体预测但语法基准改善不明显。结果表明小数据语言学习取决于数据来自哪些环境及…
arXiv NLP5 天前
★ 2
开源项目 Taco 发布：基于 GPT-2 的跨 CPU/GPU 位级一致无损压缩器
开发者发布实验性无损压缩器 Taco，用 GPT-2 预测数据下一段内容，仅对未预测部分做区间编码。其 HardShell 引擎只用整数运算，使不同 CPU、GPU 与操作系统产生逐位相同的预测结果，压缩文件可在任意机器上还原。项目为 0.1.0 alpha，速度慢，代码主要由 Claude Co…
Hacker News – LLM13 天前
★ 2
研究用合成语料考察语言模型对动作名词化构式的学习偏好
论文用语法工程方法构建 96 种目标语言的合成语料，从零训练 GPT-2-small 并以 34 类语法现象的最小对评测。结果显示模型在基本小句配置上与语言类型学分布一致，但在补语系统与动作名词化策略上出现分歧，还会学到自然语言中罕见或未见的组合。
arXiv NLP14 天前
★ 1
TurnTurk-GPT：面向土耳其语的文本轮次转换预测模型
论文提出 TurnTurk-GPT，通过 TurnGPT 目标微调土耳其语 GPT-2，构建基于文本的轮次转换预测器，并在真实土耳其语对话上评测。结果显示其在录音分离与说话人分离设置下均优于多语言轮次检测器，且土耳其语话轮结束线索集中于动词末尾形态。模型与评测协议已公开。
arXiv NLP2 小时前
这个主题的相关资产
相关公司OpenAI1