#表征分析

共 6 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 3

研究称大模型星期表示是七个离散状态而非连续环

论文检验大语言模型中星期概念的流形假设,发现尽管几何上呈环状,其表示更像排列成圆的七个离散状态而非连续环。局部敏感性有七个与星期对齐的极小值,中间空间未被时刻、不确定性或自然文本填充。结果挑战了表示流形连续性的解读。

arXiv cs.LG3 天前
★ 3

研究在 Qwen3 与 Gemma-2 内部定位 26 项法律要素表征

论文考察大模型是否形成与 CATO 26 项法律要素对应的内部表征,在 Qwen3-1.7B、Qwen3-8B 与 Gemma-2 2B 上做线性可解码性与稀疏自编码器定位实验。结果显示全部 26 项要素均可线性解码,并给出 78 个模型专属的层-特征坐标,把法律符号抽象与模型内部表示连接起来。

arXiv NLP11 天前
★ 2

研究:Gemma 4、Llama 3.2 等模型语义呈局部各向异性几何

论文在 Gemma 4、Llama 3.2、Qwen 2.5、Pythia 四个架构各异的解码器模型上,用跨语言探针与细化探针刻画概念内部局部几何。四项发现跨模型复现:去除主方差方向后句对按语义相关度有序排列、语义因子围绕不变核心组织、细化产生向更紧邻域的定向位移、句级与 token 级读出呈现互…

arXiv NLP10 天前
★ 2

arXiv 研究:知识/推理基准难在 LLM 内部形成稳定表征签名

研究在五个 7B 至 31B 模型上检验知识/推理标签是否对应可复用的内部表征签名,发现原始探针虽能区分 MMLU 学科,但提示文本几乎同样可预测,激活优势仅 0.017–0.070 macro-F1 且不显著。作者提出一套可复用的检验协议,供未来内部监控与干预研究使用。

arXiv cs.LG13 天前
★ 2

分层分析:Llama-3.2-1B 与 Gemma-3-1B 是否内部区分语言特征

研究对同等规模的 Llama-3.2-1B 与 Gemma-3-1B-PT 做逐层表征分析,结合分层探针与几何距离度量,考察模型是否及在何处区分字面义与习语义等语言特征。结果显示即便容量相同,两个模型组织语言信息的方式根本不同,评估人机语言理解一致性需关注内部表征几何而非仅看行为输出。

arXiv NLP19 天前
★ 2

研究:LLM 内部表征中现代标准阿拉伯语并未主导方言

研究者将语言主导性框架应用于 26 种阿拉伯语变体,检验 LLM 内部表征是否被现代标准阿拉伯语(MSA)主导。结果显示没有证据表明 MSA 构成方言的主导内部表征,方言表征形成高度重叠空间。该发现挑战了 MSA 偏置生成源于内部表征主导的常见解释。

arXiv NLP24 天前

这个主题的相关资产

相关标签

表征分析 最新资讯与动态(6 篇) - 智讯 AI News