arXiv NLP·5 小时前★ 2

LexisLM 发布:从零训练 500M 与 1B 希腊语专用模型

原文标题:Compact Greek Language Models from Scratch: Pretraining 500M- and 1B-Parameter Decoder-Only Transformers

重要度 2/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

研究者从零训练两个仅用希腊语文本的紧凑解码器模型 LexisLM-1B(1.09B)与 LexisLM-500M(502M),使用 32k 字节级 BPE 分词器与 220 亿 语料。最佳留出困惑度分别为 9.77 与 11.31,经希腊语指令微调后降至 6.37 与 7.12。ARC-Easy 高于随机水平,ARC-Challenge 与 仍接近随机。

阅读原文 +0
AI 处理过程展开/收起
原始标题:Compact Greek Language Models from Scratch: Pretraining 500M- and 1B-Parameter Decoder-Only Transformers
AI 中文标题:LexisLM 发布:从零训练 500M 与 1B 希腊语专用模型
来源:arXiv NLP · 发布于 5 小时前
分类:大模型 · AI 重要度:★ 2(2)
标签:希腊语模型 / 预训练 / 小语言模型 / 指令微调
关键词:LexisLM / 希腊语大模型 / 小语言模型 / 预训练
AI 处理:2026/11/10 18:01:40 · 模型 deepseek-chat · 规则版本 2026-10-21.1
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →
内容有误或摘要不准?告诉我们
LexisLM 发布:从零训练 500M 与 1B 希腊语专用模型 - 智讯 AI News