★ 3
研究用 16MB 冻结词表替代小模型嵌入表
论文将 Gemma 3 270M 的可训练嵌入表替换为 16MB、512 位码的冻结词表，在相同 token 上从零训练同构模型。冻结表模型在 LAMBADA、HellaSwag、PIQA 上不劣于学习表，配合三值 BitNet b1.58 主干后整模型仅 46MB，笔记本 CPU 上生成速度达浮…
arXiv NLP14 天前
#词嵌入
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究：81 种语言词嵌入显示社会文化概念跨语言更趋同
论文用两个多语言模型的词嵌入比较 81 种语言中 196 个基本概念的关系结构，以检验语言相对性假说。结果显示社会文化类意义的跨语言对应度高于自然与运动类意义，且社会文化域内地理距离越远关系差异越大，表明普遍性与相对性在不同概念域交织。
arXiv NLP10 天前
★ 2
研究提出归纳式概念嵌入学习框架，支持跨语言新概念泛化
论文针对跨语言共词化网络概念嵌入缺乏可扩展性的问题，提出归纳式学习框架，结合完全与部分共词化网络结构及概念短描述语义信息。该方法可为训练中未出现的新概念生成嵌入，并与多种跨语言相似度指标相关。
arXiv NLP14 天前