arXiv NLP·21 天前★ 1

arXiv 论文：预测掩码文本重建的语料采样分歧

原文标题：Forecasting Corpus-Sampling Disagreement in Masked Text Reconstruction

重要度 1/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文研究若从同一人群再采集一份语料，预测器输出会变化多少，并推导出两独立语料预测器期望分歧的一阶公式。在 TinyStories、WikiText-103 与 CNN/DailyMail 上，语料扩大四倍分歧仅降 5–40%，远低于 1/n 预期的 75%。

论文速读 · 四段结构cs.CL去论文速读 →

问题: 同一人群再采一份语料，掩码文本重建预测器的输出会变化多少，现有 1/n 缩放假设是否成立。
方法: 把每篇文档视为一个观测，推导两个独立语料预测器期望分歧的一阶公式，用参考语料估计，无需目标语料。
结果: 语料从 512 增至 2048 个 64 token 块，分歧仅降 5–40%，远低于 1/n 预期的 75%；jackknife 校正使校准误差降 57–59%。
影响: 提醒工程师语料翻倍远不能按 1/n 降低预测不确定性，数据规模规划需按实测分歧曲线而非理论缩放。

AI 处理过程展开/收起

原始标题：Forecasting Corpus-Sampling Disagreement in Masked Text Reconstruction

AI 中文标题：arXiv 论文：预测掩码文本重建的语料采样分歧

来源：arXiv NLP · 发布于 21 天前

分类：学术研究 · AI 重要度：★ 1（1）

标签：语料采样 / 掩码语言模型 / 扩散语言模型 / 基准测试 / 统计

关键词：语料采样分歧 / 掩码文本重建 / 扩散语言模型 / AI 论文

AI 处理：2026/10/12 12:01:20 · 模型 deepseek-chat · 规则版本 2026-10-10.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。