SPICE框架解析神经网络多义特征
研究提出SPICE框架,通过基于聚类的解释分析深度视觉架构中的多义性(单个神经元响应多个无关概念)。该方法摆脱架构依赖的传播规则,自动确定每个神经元的概念簇数量,首次系统比较CNN与Transformer中的多义性,并揭示其随深度与架构的演化规律。
共 9 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究提出SPICE框架,通过基于聚类的解释分析深度视觉架构中的多义性(单个神经元响应多个无关概念)。该方法摆脱架构依赖的传播规则,自动确定每个神经元的概念簇数量,首次系统比较CNN与Transformer中的多义性,并揭示其随深度与架构的演化规律。
论文探索用语义文本嵌入对数学题聚类,自动构建教育分类体系,并与基于 Common Core 标准的现有知识点分类对比。在 ASSISTments 两个数据集上,嵌入分类与人工体系存在大量但不完全的重合,用于深度知识追踪时 AUC 提升约 3-5 个百分点。结果表明嵌入可自动恢复人工体系结构并提供有…
受 Matryoshka 表示学习启发,论文提出无监督框架 NEST,在单一嵌入中编码由粗到细的嵌套聚类结构,随维度增加实现更细粒度区分。实验表明学习到的嵌入距离比输入更贴合层级距离,并在视觉、文本与单细胞数据上验证了多尺度组织能力。
论文提出 TopicMerge,一种多阶段主题建模流水线,先用高效聚类将语料过度切分为语义纯净的微簇并打初始标签,再由 LLM 结合局部邻域上下文迭代合并与重标注。在 Bills 与 Wiki 数据集上达到最优聚类性能,同时相比文档级方法减少逾 92% 的 LLM 调用。
研究在4.5万件美国专利上训练双曲与欧氏 VAE,发现双曲模型检索真正跨类别现有技术的比例高出52%(18.76% vs 12.34%)。论文还发现技术领域的分类广度与专利密度可预测方法效果,并开源含91项测试的完整实现,为跨分类码检索提供实用信号。
论文提出面向客户意图抽取(CIE)的数据集自适应后处理架构,将高召回抽取与面向效用的语义归约分离。流程包括来源预处理、意图标准化去重、嵌入聚类、关键词可解释层与受限语言模型聚合,最终产出可追溯的稳定意图单元。该架构支持机器生成意图与意图引导语义检索两类下游应用。
论文提出质心引导对比损失(CGCL),将分类与密集聚类统一,通过质心驱动的 top-k 推拉机制重塑隐空间表示。该方法在公开基准 EMSCAD 上取得 SOTA,兼顾决策边界准确性与聚类紧致度。代码已开源。
论文比较从密度函数恢复层次聚类的两种经典方式:基于超水平集连通分量的密度聚类树,以及对拉普拉斯算子诱导的扩散距离做单链接得到的谱层级。作者给出在合适扩散时间下二者在高度单调重标定意义下拓扑等价的条件,并说明 k-NN 图实现可继承该等价性,从而把谱图构造归约为密度水平集拓扑。
论文提出 CLUE 框架,用于事件类型归纳、命名与标注,以减少人工事件本体构建的成本与偏差。其贡献包括设计同时表达动词中心视角与语义视角的联合嵌入表示,使用对比损失引导聚类进行事件类型归纳,以及事件命名与精炼。实验验证了方法有效性,代码已开源。