★ 3
Safety Kernel 提出跨语言安全对齐的神经元级方法
研究在神经元层面分析大模型跨语言安全行为,识别出一组跨语言共享的安全相关神经元,称为 safety kernel(SK)。基于该坐标提出 SK-Masked LoRA,将 LoRA 适配约束到对应前馈网络输出维度,显著降低多语言攻击成功率,包括未参与 SK 发现的语言,同时仅干预少量神经元坐标。
arXiv NLP13 天前
共 4 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究在神经元层面分析大模型跨语言安全行为,识别出一组跨语言共享的安全相关神经元,称为 safety kernel(SK)。基于该坐标提出 SK-Masked LoRA,将 LoRA 适配约束到对应前馈网络输出维度,显著降低多语言攻击成功率,包括未参与 SK 发现的语言,同时仅干预少量神经元坐标。
论文针对跨语言共词化网络概念嵌入缺乏可扩展性的问题,提出归纳式学习框架,结合完全与部分共词化网络结构及概念短描述语义信息。该方法可为训练中未出现的新概念生成嵌入,并与多种跨语言相似度指标相关。
一篇arXiv论文提出前瞻性配对研究方案,旨在分离输入语言、可观测推理轨迹语言与答案实现三个接口对LLM推理成本的影响。设计涵盖240个精确评分项、8种语言、3个开源权重检查点与22种语言条件,共47,520次核心运行。研究将tokenizer扩展、可观测轨迹成本与答案实现成本区分开,为跨语言效率…
论文针对日语缺乏 SDRT 篇章语料的问题,用 LLM 翻译现有英语 SDRT 语料构建日语版本,并对比提示与微调两种 LLM 方案。结果显示英日解析性能相当,提示 SDRT 篇章解析具备跨语言可迁移性;消融分析表明多数日语话语标记影响很小,模型更依赖上下文话语关系结构。