★ 3
TWIG：把神经网络每个权重表示为共享离散决策路径
论文提出 TWIG 权重表示，将每个权重写成由符号、二次幂移位、零门控与共享表索引组成的小型离散决策路径，上层决策被下层权重继承并只存储一次。该表示统一了剪枝、量化、低秩分解、码本与权重共享，并把决策选择转化为高阶玻尔兹曼机基态问题。在大模型五个权重矩阵上，3/4 比特下比 GPTQ 减少 9–1…
arXiv cs.LG7 天前
#权重共享
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究揭示循环 Transformer 逐迭代执行算法步骤机制
论文研究权重共享的循环 Transformer 在深度受限算法任务上的机制，以有向置换遍历为测试任务。发现存在最小有效深度，超过后权重绑定程度成为决定因素：四层块迭代八次的循环模型稳定解题，同有效深度的非绑定模型则失败。探针显示循环模型逐节点推进形成阶梯，可视为迭代式程序学习器。
arXiv cs.LG13 天前
★ 2
Fracast-0：仅8.5万参数的分形权重共享时序基础模型
论文提出 Fracast-0，一个利用时间自相似性跨尺度复用同一算子的概率预测基础模型，仅含85,001个参数。无参数检测器提取显著季节结构，编码器沿几何膨胀阶梯应用共享局部块，解码器输出九个分位数。在97个 GIFT-Eval 配置上无需逐数据集微调，是28个评估检查点中最小者，参数比 Tiny…
arXiv cs.AI34 天前
★ 2
深度截断评估有缺陷：递归语言模型的深度控制协议
研究指出递归/深度循环语言模型评估中常用的深度截断指标存在未审视缺陷：它同时改变块应用次数、独立计算量与读出头的分布外残差流，却只被解读为第二项。作者提出深度控制协议DCP，通过三个正控制、一个稠密Transformer负控制与受控训练干预来解耦这三个量。其关键控制仅在深度权重共享架构中可严格实现。
arXiv cs.AI45 天前