★ 2
开源项目 abliteration 用表征工程移除 LLM 拒答行为
GitHub 项目 abliteration 提出通过表征工程(representation engineering)移除大模型的安全拒答行为,思路是定位模型内部与拒绝相关的方向向量并加以消减。此类方法绕开微调,直接干预激活空间,引发对开源模型安全对齐可被轻易解除的担忧。
Hacker News – LLM10 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
GitHub 项目 abliteration 提出通过表征工程(representation engineering)移除大模型的安全拒答行为,思路是定位模型内部与拒绝相关的方向向量并加以消减。此类方法绕开微调,直接干预激活空间,引发对开源模型安全对齐可被轻易解除的担忧。