★ 3
基于隐藏状态相对表示的LLM偏见检测
现有偏见审计依赖模型输出，需昂贵基准或评审模型，且可能遗漏未体现在文本中的内部偏移。论文提出基于参考的方法，通过句子与固定锚句的相似度构建相对表示，在共享比较空间测量目标群体与正负属性关联的偏移量ΔB。在三个模型家族与三个基准上，ΔB在18个设置中的15个与输出级偏见变化相关，全量微调下|r|=0…
arXiv cs.AI53 天前
#隐藏状态
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
旁路观测：非侵入式逐层语义提取架构
论文提出旁路观测架构，在选定Transformer层挂载只读观测头，不将输出反馈回主干。作者分析三种变体并推导全词表读取的开销近似公式，估计开销在30%至240%之间。研究强调该方法只是隐藏状态的部分投影，可能具有误导性，系统性实证验证留待未来工作。
arXiv cs.AI48 天前