★ 2
arXiv 论文用 KAN 非线性分解压缩词嵌入层
针对低秩分解压缩嵌入层时线性瓶颈限制表达能力的问题，论文借鉴 Kolmogorov Arnold Networks 范式，在压缩嵌入层中引入可学习非线性投影。作者将压缩层集成进 Skip-gram，在词类比与语义相似度基准上与低秩基线对比，并提出从预训练嵌入初始化的策略。结果显示非线性投影可缓解线…
arXiv NLP11 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对低秩分解压缩嵌入层时线性瓶颈限制表达能力的问题，论文借鉴 Kolmogorov Arnold Networks 范式，在压缩嵌入层中引入可学习非线性投影。作者将压缩层集成进 Skip-gram，在词类比与语义相似度基准上与低秩基线对比，并提出从预训练嵌入初始化的策略。结果显示非线性投影可缓解线…