★ 3
研究：用探针微调对齐模型且不损失可监控性
论文研究探针引导微调（probe-guided fine-tuning），即用检测模型激活中不良属性的探针作为直接训练信号，而非仅依赖输出层面的对齐。实验表明，固定不更新的探针目标容易被模型利用，而持续更新的探针能显著降低有害性、提升诚实度并保持实用性。该方法在安全-效用权衡上优于 DPO 和推理…
arXiv cs.LG32 天前
#探针
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
分层分析：Llama-3.2-1B 与 Gemma-3-1B 是否内部区分语言特征
研究对同等规模的 Llama-3.2-1B 与 Gemma-3-1B-PT 做逐层表征分析，结合分层探针与几何距离度量，考察模型是否及在何处区分字面义与习语义等语言特征。结果显示即便容量相同，两个模型组织语言信息的方式根本不同，评估人机语言理解一致性需关注内部表征几何而非仅看行为输出。
arXiv NLP19 天前
★ 2
模型能力参差不齐从何而来
论文构建由下层A（计算各槽求和）与上层B（依赖槽1求和与历史模式预测类别）组成的任务，训练小型循环网络学习B并测量其对A的掌握。结果显示网络只在与B相关的槽位可读出A（线性探针97-98%），其余槽位仅5-10%，类别误读集中在槽1临界点附近，即使显式训练A也仅近似正确。作者认为下层理论的不均匀获…
arXiv cs.LG27 天前