AI 事件专题★ 3

BILAL-BENCH 发布:评测孟加拉语开源模型编造伊斯兰典籍

11-02 13:00 首发·1 家媒体·1 篇报道·持续 1 天·学术研究
当事方:MMeta AI
事件综述

研究者推出 240 题专家核验的孟加拉语基准 BILAL-BENCH,覆盖古兰经归属、圣训、教法与对抗性虚假前提。七个 1B 至 120B 中六个在 79.3-95.3% 的出处生成题上自信编造,且规模增大并无单调改善;圣训出处是最弱类别。

各方报道 1 篇

arXiv NLP·11-02 13:00★ 3
BILAL-BENCH 发布:评测孟加拉语开源模型编造伊斯兰典籍

研究者推出 240 题专家核验的孟加拉语基准 BILAL-BENCH,覆盖古兰经归属、圣训、教法与对抗性虚假前提。七个 1B 至 120B 中六个在 79.3-95.3% 的出处生成题上自信编造,且规模增大并无单调改善;圣训出处是最弱类别。

原文

关联

Meta AI 其他动态(27 篇,与该事件无直接关联)展开 ▾
10-23 12:00研究:微调 Llama-3.3-70B 监控器可将未发现串谋从 91% 降至 14-20%arXiv cs.AI10-23 12:00研究:Llama-3.1-8B 激活探针可检测并引导欺骗与谄媚行为arXiv cs.LG10-23 12:00研究:Llama-3.1 文档级 LoRA 适配器开卷评分多测阅读行为arXiv NLP10-21 12:00研究:多智能体协作提升临床任务表现但不必然减少幻觉arXiv cs.AI10-20 12:00研究揭示 DRY 采样器重复循环盲区,提出 DRY-CarXiv NLP10-19 12:00CADENCE 提出自适应解码:一次预测多 token 提速 1.3 倍arXiv cs.LG10-16 12:00arXiv 论文:SAE 引导小模型欺骗行为特征arXiv cs.LG10-16 12:00PRISM:工具调用模型激活干预的迁移研究arXiv NLP10-16 12:00RoPERelay:稀疏 KV 缓存的选择后位置几何优化arXiv NLP10-15 12:00PMO-Dock 基准发布:分子对接优化评测新协议arXiv cs.LG10-15 12:00arXiv 论文:Genesis Steering 用训练数据改进激活引导arXiv cs.LG10-15 12:00Titan-Llama:为预训练LLM加外部神经记忆模块arXiv NLP10-14 12:00分层分析:Llama-3.2-1B 与 Gemma-3-1B 是否内部区分语言特征arXiv NLP10-12 12:00arXiv 论文:语言模型具备可解释叙事机制arXiv NLP10-08 12:00研究定位 LLaMA-2-7B-Chat 安全关键参数,0.19% 权重即可攻破arXiv cs.AI10-02 12:00注意力流形:用B样条曲面调控语言模型arXiv cs.LG10-01 12:00不确定性归一化边际的 DPO 改进arXiv cs.LG09-29 12:00异构多智能体LLM的免预填充KV缓存迁移arXiv cs.AI09-25 01:16开放模型在LocalLLaMA社区的实际采用研究Hacker News – AI09-24 20:03用圆绘制羊驼的傅里叶分析Hacker News09-23 12:00研究:后训练微调抹平LLM跨文化差异arXiv cs.AI09-21 12:00AI 评审训练 AI 评审:科学判断坍缩与缓解arXiv cs.LG09-18 12:00研究用LLaMA-3.1-8B隐状态检测有害提示arXiv cs.AI09-16 12:00诱饵方向优化:对抗LLM消融的事后防御arXiv cs.LG09-15 12:00通信高效的联邦LoRA微调自适应相位切换方法arXiv cs.LG09-03 12:00CoMerge:冲突驱动的多任务模型合并偏好优化arXiv cs.AI09-02 12:00EGT-KG:面向实际科学问答的证据接地类型化知识图谱检索arXiv cs.AI
BILAL-BENCH 发布:评测孟加拉语开源模型编造伊斯兰典籍 最新进展 - 事件时间线 - 智讯 AI News