★ 3
PRISM：工具调用模型激活干预的迁移研究
研究提出 PRISM 框架，评估激活干预在精度、语言与规模上的迁移能力。利用 NF4 量化标签与跨语言迁移可稳定估计干预方向，五语言监督方向成功迁移至阿拉伯语，使 Llama-3.1-8B 的不安全违规降低 21.95 个百分点。该方法还可迁移至 70B 参数级模型。
arXiv NLP17 天前
#跨语言迁移
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
arXiv 论文提出关系可辨识假说解释多语言模型跨语言泛化
该论文提出「关系可辨识假说」，认为共享世界中的关系结构能排除错误的跨语言对应，从而促进实体对齐。作者在双语 Transformer 的模运算世界中验证：减法使零在任务层面可辨识，引发选择性对齐；顺序敏感操作则带来广泛对齐。这些模式可预测零样本跨语言迁移的成功。
arXiv NLP3 天前
★ 2
arXiv 研究语言模型层级泛化能否跨语言迁移
论文提出跨语言刺激贫乏（CPOS）实验设计，控制源语言 L1 中层级语法规则的正例数量，考察 L2 语料在层级与线性规则间存在歧义时模型能否迁移结构证据。结果显示模型只能部分迁移层级偏置，且迁移强度依赖语言对；词汇重叠对层级句法泛化的跨语言迁移至关重要。
arXiv NLP10 天前
★ 2
arXiv 论文：并行数据多语言预训练两阶段法 PPT+SPT
研究将每篇文档与其译文拼接在同一训练序列中，提出并行预训练（PPT）方法。实验发现单独使用 PPT 并不能稳定提升语言理解，但先 PPT 建立跨语言基础、再用标准预训练（SPT）适配的两阶段方法，在高资源与低资源场景下均优于标准预训练。
arXiv NLP11 天前
★ 2
研究揭示像素语言模型下游适配瓶颈与鲁棒性权衡
论文系统考察像素语言模型在微调行为、排版鲁棒性与零样本跨语言迁移上的表现。结果显示像素模型需要更长训练与更多标注数据，适配更不可靠，但成功适配后在排版噪声下精度损失更小，跨语言基准上目标语言准确率更高。核心权衡在于：以渲染替代分词降低了对损坏与陌生输入的敏感性，却把瓶颈转移到下游适配。
arXiv NLP13 天前
这个主题的相关资产
相关公司Meta AI1