★ 2
arXiv 论文:少样本 LoRA 个性化损害 OOS 拒绝校准
论文发现朴素少样本 LoRA 个性化会在五个公开意图分类基准上全面降低域外拒绝 AUROC,而域内准确率保持不变。部分下降源于标准置信度评分器在适配下的失准,但仍有真实效应,可追溯到已知意图区域嵌入边界的收缩。用马氏距离替代 softmax 置信度可在无额外训练下恢复大部分质量。
arXiv NLP17 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文发现朴素少样本 LoRA 个性化会在五个公开意图分类基准上全面降低域外拒绝 AUROC,而域内准确率保持不变。部分下降源于标准置信度评分器在适配下的失准,但仍有真实效应,可追溯到已知意图区域嵌入边界的收缩。用马氏距离替代 softmax 置信度可在无额外训练下恢复大部分质量。
研究提出模块化安全笼架构,作为并行监控层评估预测有效性而不修改底层估计器,通过融合不确定性量化、域外检测与影响函数等指标约束模型运行域。在Ariel数据挑战赛数据上,仅减少20%数据覆盖即可使误差降低45%至65%。