Pearl-Chat：用 JAX 从零构建 850 万参数卢干达语模型并开源
原文标题：Pearl-Chat: Engineering a native Luganda language model from first principles in JAX and Flax NNX
重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
论文发布 Pearl-Chat，一个约 847 万参数的因果解码器 Transformer，专为东非逾千万人使用的低资源班图语卢干达语设计，基于 JAX 与 Flax NNX 从第一性原理实现。自建字节级 BPE 分词器（词表 8192）实现每 token 4.88 字符、每词 1.60 token，压缩率约为 LLaMA-3 与 Gemma 分词器的两倍。两阶段课程训练后验证损失从 9.47 降至 0.18，在诊断基准上 ROUGE-L 0.9792、BLEU 0.9405，权重、分词器与代码全部开源。
深读 · 结论先行AI 生成展开看要点与影响 ↓
Pearl-Chat 用 JAX 从零构建 847 万参数卢干达语模型，分词压缩率约为 LLaMA-3/Gemma 两倍并全开源。
- •模型约 847 万参数，因果解码器结构，基于 JAX 与 Flax NNX 从第一性原理实现。
- •自建字节级 BPE 分词器词表 8192，达每 token 4.88 字符、每词 1.60 token，压缩率约为 LLaMA-3（128K）与 Gemma（256K）分词器的两倍。
- •两阶段课程：59501 条序列预训练加 510 段对话指令微调（仅对助手输出计损失），验证损失从 9.47 降至 0.18。
- •诊断基准上 ROUGE-L 0.9792、BLEU 0.9405，权重、分词器与代码全部开源。
为什么重要：展示极小参数加专用分词器即可服务低资源语言，对非洲语言 NLP 与端侧部署有直接参考价值。
以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。
AI 处理过程展开/收起
相关推荐
DeepSeek 重磅开源 Agent 底座架构
AI 摘要DeepSeek 开源一套面向 Agent 的底座架构，据称 AI 已能自行定位 Bug 并提交 PR。该开源动作指向智能体工程化基础设施，可能影响 Agent 开发范式。
Mistral 开源万亿参数模型权重，主攻网络安全
AI 摘要Mistral 发布其万亿参数模型的权重，主打网络安全场景，称开放权重能让组织获得闭源模型无法提供的防御控制权。这是欧洲大模型厂商在开源路线上的又一次重要动作。
Mistral 开源 Mistral Large 4（Le Chonk）权重
AI 摘要Mistral 宣布以开放权重形式发布 Mistral Large 4，代号 Le Chonk。该消息在 Hacker News 引发 410 分热度与近百条讨论，标志 Mistral 继续坚持开源路线。
港科CMU联手岩山科技开源新模型，KV Cache砍99%吞吐提升6倍
AI 摘要香港科技大学、CMU与岩山科技联合开源新模型，通过将KV Cache压缩99%，实现单卡512路长推理并发、吞吐提升6倍。该成果显著降低长上下文推理的显存与成本压力。