★ 3
开源项目 Nanotern 在消费级 GPU 上完成三值 LLM 训练
开发者发布 Nanotern 项目，在单张消费级 GPU 上从零训练 126M 参数 Transformer，对比全精度、朴素训练后三值化（PTQ）与量化感知训练（QAT）三种方案。QAT 仅比全精度模型差 0.053 bpb，体积从 252MB 降至 61MB；朴素 PTQ 则严重退化。项目采用…
Hacker News – LLM3 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
开发者发布 Nanotern 项目，在单张消费级 GPU 上从零训练 126M 参数 Transformer，对比全精度、朴素训练后三值化（PTQ）与量化感知训练（QAT）三种方案。QAT 仅比全精度模型差 0.053 bpb，体积从 252MB 降至 61MB；朴素 PTQ 则严重退化。项目采用…