★ 3
研究用 16MB 冻结词表替代小模型嵌入表
论文将 Gemma 3 270M 的可训练嵌入表替换为 16MB、512 位码的冻结词表，在相同 token 上从零训练同构模型。冻结表模型在 LAMBADA、HellaSwag、PIQA 上不劣于学习表，配合三值 BitNet b1.58 主干后整模型仅 46MB，笔记本 CPU 上生成速度达浮…
arXiv NLP14 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文将 Gemma 3 270M 的可训练嵌入表替换为 16MB、512 位码的冻结词表，在相同 token 上从零训练同构模型。冻结表模型在 LAMBADA、HellaSwag、PIQA 上不劣于学习表，配合三值 BitNet b1.58 主干后整模型仅 46MB，笔记本 CPU 上生成速度达浮…
PrismML推出Ternary Bonsai 2 27B，这是Qwen3.8 27B的三值权重版本，体积仅5.93GB，相比FP16的53.80GB大幅压缩。该模型保留母模型98.2%的平均性能，支持文本和图像输入及262K上下文，采用Apache 2.0许可。