★ 3
前向引用监督让大模型生成可执行研究局限
论文聚焦自动科研构思的第一步——从文献中识别可执行的局限。作者发现 LLM 从 0.6B 扩到 32B 更擅长识别而非生成局限，瓶颈在监督信号；据此构建 18,279 条证据关联的 ActLim-Bench，并采用三阶段后训练，生成局限在 64.9% 人类对比中更受偏好。
arXiv cs.AI13 天前
#基准数据集
共 13 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
FINESSE：多模态金融事件序列模拟器与基准
论文推出 FINESSE，一个基于智能体的金融事件序列模拟框架，可生成由多个相互依赖事件流组成的合成结构化数据集。同时发布 FINESSE-Bench 基准，支持余额预测、交易欺诈检测、漏付预测与下一事件预测四项任务。框架与数据集开源，旨在加速金融服务中结构化多模态事件序列建模研究。
arXiv cs.LG49 天前
★ 2
Bottle-SKU 多 SKU 洗发水瓶缺陷检测基准与 ProDMM 方法
研究团队发布 Bottle-SKU 大规模多 SKU 工业缺陷检测基准，含 13119 张图像、20419 个实例框、7 类缺陷与 48 个瓶型 SKU。同时提出原型引导动态域调制方法 ProDMM，为每个 SKU 构建视觉原型并动态生成低秩调制，在 Bottle-SKU 与 GC10-DET-S…
arXiv cs.AI3 天前
★ 2
研究提出 ReCoF：预测 LLM 智能体错误能否自恢复
论文构建 ReInBench 数据集，含 1259 条智能体轨迹与 1403 个错误事件，发现其中 725 个错误可在数步内自恢复。作者据此提出 ReCoF 方法，预测错误是否会自恢复以决定是否介入，Macro-F1 较最强基线平均提升 9.02%。
arXiv cs.AI5 天前
★ 2
arXiv 发布尼泊尔语-英语语码转换播客 ASR 基准
论文构建 13,044 条自发播客语句（15.45 小时）的尼泊尔语-英语语码转换 ASR 基准，并验证无机器翻译泄漏。两阶段合成到真实适配中，合成数据监督微调将混合错误率从 23.40% 降至 21.52%，切换点错误率从 35.89% 降至 28.77%；后续 GRPO 仅带来小幅显著改进。
arXiv NLP10 天前
★ 2
BanglaShield：孟加拉语提示安全分类器与基准开源
研究团队发布 BanglaShield，覆盖孟加拉语原生、罗马化与代码混合三种书写形式的提示安全分级分类资源与模型。基准测试显示，主流 LLM 分类器将 47% 的不安全原生脚本提示误判为安全，罗马化后升至 63.4%。BanglaShield 微调编码器在原生脚本上宏 F1 达 87.8，参数量…
arXiv NLP13 天前
★ 2
NEPSEE：尼泊尔语情感分析双标注基准发布
研究者构建尼泊尔语情感分析基准 NEPSEE，由两位标注者盲标 5614 句推文，保留 3189 句极性一致样本。三分类任务上 NepBERTa 宏 F1 达 0.877，三个商用 LLM 零样本为 0.882 至 0.896；五级量表上 Claude Opus 5.5 领先最佳编码器 0.10 …
arXiv NLP18 天前
★ 2
VETNET：面向兽医 AI 的基准数据集生态
论文介绍 VETNET，一个由实时基准数据集与评测框架组成的生态，旨在通过标准化高质量数据集和跨机构合作加速动物科学与兽医领域的 AI 创新。该框架试图弥合人类医学 AI 进展与兽医 AI 发展碎片化之间的差距。
arXiv cs.AI19 天前
★ 2
MoPrO-SD：面向立场检测的模块化提示优化框架
针对LLM在立场检测中受隐含观点、讽刺与语境影响的问题，研究者提出MoPrO-SD框架，将提示拆解为功能语义模块并借助LLM反馈逐步优化，比较了仅指令、指令加推理、指令加逐例推理三种策略。同时发布人工标注的疫苗立场检测基准VaccineStance，在四个数据集与五个开源权重模型上多数设置优于人工…
arXiv NLP21 天前
★ 2
含官方运营文本的电价预测可复现基准
论文推出TRACE基准，包含7300个区域-日实例，将美国主要市场五个区域的电价与预测截止时点可得的官方运营文本配对，并重建截止时点文本以防信息泄漏。评估显示时序基础模型上尾分位损失中位数降低7.4%，跨日文本错配消融则使增益反转。
arXiv cs.LG28 天前
★ 2
Build2SPARQL：建筑知识图谱查询基准数据集
论文发布Build2SPARQL，一个面向建筑知识图谱的大规模text-to-SPARQL基准。其流水线由图遍历代码生成并验证SPARQL查询，LLM仅生成自然语言问题，确保查询正确性独立于模型行为。应用于201个建筑知识图谱，产出6136条可执行查询与30680个问题，人工验证语义保真度达98.…
arXiv cs.AI31 天前
★ 2
PolyBench26：聚合物性质预测开放基准
论文发布 PolyBench26，一个覆盖八种物理性质、近 25 万条数据点的开放聚合物性质数据集，数据来自实验、密度泛函理论与分子动力学。基准支持均聚物与交替、无规、嵌段共聚物上的四类评测任务。对比发现图模型在预测误差、数据规模扩展与重复单元复杂度鲁棒性上均占优。
arXiv cs.LG39 天前
★ 2
OntologyAligner：生物医学本体归一化框架
生物医学本体归一化面临词汇变异与层级概念细微差异的挑战。论文提出OntologyAligner三阶段框架，结合本体对齐检索、LLM候选重排与选择性层级引导精炼，并构建含13,390样本的PhenoNormBench基准。在HPO归一化上取得88.78%宏Top-1准确率，超最强基线4.85个百分点…
arXiv cs.AI53 天前