★ 3
Pearl-Chat:用 JAX 从零构建 850 万参数卢干达语模型并开源
论文发布 Pearl-Chat,一个约 847 万参数的因果解码器 Transformer,专为东非逾千万人使用的低资源班图语卢干达语设计,基于 JAX 与 Flax NNX 从第一性原理实现。自建字节级 BPE 分词器(词表 8192)实现每 token 4.88 字符、每词 1.60 toke…
arXiv NLP14 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文发布 Pearl-Chat,一个约 847 万参数的因果解码器 Transformer,专为东非逾千万人使用的低资源班图语卢干达语设计,基于 JAX 与 Flax NNX 从第一性原理实现。自建字节级 BPE 分词器(词表 8192)实现每 token 4.88 字符、每词 1.60 toke…
论文提出「Model as a Library(MaaL)」架构,将小型社区录入的语音模型打包为可版本化的端侧依赖,实现离线结构化数据采集。其词表由说话者在部署现场用少量录音直接录入,避免网络爬取语料对非洲语言方言差异的系统性失真。文章属系统设计立场论文,给出机制与可行性分析。