★ 3
开发者分享在 6GB 显存上预训练 10 亿参数 LLM
Hugging Face 博客作者 RitishReal 介绍如何在仅 6GB 显存条件下完成 10 亿参数大模型的预训练，通过显存优化技巧降低硬件门槛。该实践对个人开发者与小团队具有参考价值。
Hacker News – LLM6 天前
#低资源训练
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Prior-Guided Tuning 用自然语言先验改进低资源 LLM 训练
提出Prior-Guided Tuning视角，将自然语言先验作为辅助学习信号用于低资源大模型训练。引入Contrastive Prior Steering方法，在AmbiMath、Jigsaw等基准上显著提升性能，验证了该方法的有效性。
arXiv cs.AI60 天前