★ 4
FUSE：评估大语言模型危险能力的模块化框架
论文提出FUSE框架，通过知识、防御和危害三条正交管线评估模型危险能力，并生成标准化档案。对12个商业LLM的评估显示，模型间能力差异显著，且危险能力随时间非单调变化。该框架为AI安全治理提供了标准化评估工具。
arXiv cs.AI60 天前
#评估框架
共 10 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
READY：可靠企业智能体部署框架
READY是一个用于评估AI智能体在企业工作流中部署可靠性的框架。案例研究显示，自主准确率相近的系统在人工审查负担上差异显著，READY能揭示这些隐藏差异。
arXiv cs.AI60 天前
★ 3
可信 AI 统一评估框架
论文提出统一评估框架，将输出级、轨迹级与跨模态评估通过能力、鲁棒性、安全、公平、透明、治理、监督与效率八个可信维度连接起来。框架保留各系统专属指标，同时映射到统一性能区间并附带不确定性估计与可追溯证据，另设元评估层检验评估本身的有效性与可复现性。该框架还对接治理框架、国际标准与欧盟监管要求，但跨部…
arXiv cs.AI45 天前
★ 3
CriticGen：生成感知的细粒度评估框架
CriticGen是一个细粒度、生成感知的评估框架，将评估转化为可操作的答案改进控制。它首先生成特定样本的评估维度和评分标准，作为动态评分标准，联合产生分数、理由、可执行的改进建议和改进后的答案。实验表明，CriticGen能生成更高质量的评分标准，提高相关性/覆盖率，并实现最佳分数相关性，其反馈…
arXiv cs.AI54 天前
★ 3
SVG-Score：文本生成SVG的人类对齐评估框架
该研究指出现有CLIPScore等指标无法有效评估文本到SVG生成质量，提出SVG-Score框架，包含人类标注数据集和两个评估器：适应矢量图形的CLIP评分器和经微调的VLM评判器。基准测试显示该框架能更准确反映生成错误，推动SVG生成评估标准化。
arXiv cs.AI59 天前
★ 2
研究提出基于 PPG 的会话校准血压追踪评估框架
论文区分采集情境与光电容积脉搏波（PPG）对会话校准血压追踪的贡献，在 653 名 AuroraBP 参与者上做匹配因子分析。可穿戴状态模型收缩压/舒张压 MAE 为 7.697/6.139 mmHg，加入情境仅小幅降低误差；研究同时保留阴性结果并公开可复现分析流程。
arXiv cs.AI11 天前
★ 2
哪些建筑已为 AI 就绪？基于测量的问答与执行评估框架
研究提出量化建筑「AI 就绪度」的框架：以建筑知识图谱设定可回答与可执行两个上限，再用参考 AI 智能体的准确率衡量实际上限实现程度。模拟办公楼中智能体实现 0.62/0.64 的可回答上限，说明瓶颈在数据缺失而非 AI；37 个真实建筑图谱的可回答上限中位数仅 0.16。
arXiv cs.AI25 天前
★ 2
可解释却脆弱？概念瓶颈的鲁棒性研究
概念瓶颈模型（CBM）提供可解释中间表示，但其对鲁棒性的影响研究结论不一。论文认为分歧源于混淆了不同鲁棒性定义与扰动机制，提出基于生成器的评估框架，在潜空间连续几何扰动与概念空间离散语义干预下对比标准分类器与 CBM。结果显示可解释性并不天然带来鲁棒性，概念瓶颈只是重新分配了敏感性的位置与方式，二…
arXiv cs.LG32 天前
★ 2
表格基础模型医疗场景比较评估框架
论文提出一个比较评估框架，从泛化性、隐私保护、数据需求、可扩展性、可解释性与公平性六个临床维度对表格基础模型（TFM）打分排序。框架将各维度拆解为可测子项，并可组合为超级指标。作者以缺铁筛查与心衰预测两个医疗用例演示，并给出按架构分类的 45 个 TFM 图谱。
arXiv cs.LG41 天前
★ 2
AI暴露度与AI韧性：软件商业模式二维评估框架
论文提出AI暴露度与韧性（AI-ER）二维评估框架，弥补传统技术尽调只关注架构、可扩展性和技术债的不足。AI暴露度描述AI对商业模式造成的变革压力，AI韧性描述企业吸收压力、适应变化并经济可行地运用AI的能力，指标源自当前AI能力、部署条件及商业模式与组织适应性研究。该模型将两维度分离并显式评估证…
arXiv cs.AI51 天前