★ 2
LexisLM 发布：从零训练 500M 与 1B 希腊语专用模型
研究者从零训练两个仅用希腊语文本的紧凑解码器模型 LexisLM-1B（1.09B）与 LexisLM-500M（502M），使用 32k 字节级 BPE 分词器与 220 亿 token 语料。最佳留出困惑度分别为 9.77 与 11.31，经希腊语指令微调后降至 6.37 与 7.12。ARC…
arXiv NLP5 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者从零训练两个仅用希腊语文本的紧凑解码器模型 LexisLM-1B（1.09B）与 LexisLM-500M（502M），使用 32k 字节级 BPE 分词器与 220 亿 token 语料。最佳留出困惑度分别为 9.77 与 11.31，经希腊语指令微调后降至 6.37 与 7.12。ARC…