arXiv NLP·2 小时前★ 3

Havon v4 分词器:覆盖 204 种语言,英语 Token 数比 -4o 少 6.1%

原文标题:A Multi-Word Tokenizer for 204 Languages That Needs Fewer Tokens Than GPT-4o's, Including on English

重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

研究者从零训练约 200 种人类语言的分词器 Havon 系列。v4 在 SuperBPE 多词训练阶段加持下,于 -4o 同等 200,019 词表规模时英语 少 6.1%,印度 25 种语言全部占优(中位数 0.74)。v5 用 15 种语言的宽松许可代码替换 Python 样本,改善代码压缩。作者强调目前仅为压缩结果,尚未用 v4/v5 训练模型验证。

阅读原文 +0
AI 处理过程展开/收起
原始标题:A Multi-Word Tokenizer for 204 Languages That Needs Fewer Tokens Than GPT-4o's, Including on English
AI 中文标题:Havon v4 分词器:覆盖 204 种语言,英语 Token 数比 GPT-4o 少 6.1%
来源:arXiv NLP · 发布于 2 小时前
分类:开源 · AI 重要度:★ 3(3)
标签:分词器 / 多语言 / BPE / 模型压缩
关键词:Havon 分词器 / 多语言分词 / SuperBPE / GPT-4o 分词器对比
AI 处理:2026/11/11 15:01:25 · 模型 deepseek-chat · 规则版本 2026-10-21.1
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →

相关推荐

arXiv NLP·1 天前★ 4

Jais 3 开源发布:0.9B 至 375B 阿拉伯语智能体模型系列

AI 摘要研究团队发布 Jais 3,六个开源阿拉伯语智能体模型覆盖 0.9B 至 375B 参数,可规划多步任务、调用工具与 MCP 服务器、操作终端、联网搜索并读写 PDF、表格与演示文件。模型基于 K2 Horizon 系列经持续预训练、SFT、FTPO 与 RLVR 适配阿拉伯语,继承 512K 上下文。375B 版本称是迄今最大开源阿拉伯语模型,并公开全部权重、检查点与训练数据配方。

#开源
量子位·1 天前★ 4

腾讯混元发布开源模型 Hy4,实测搭配 WorkBuddy 做多模态 Agent

AI 摘要腾讯混元推出新一代开源模型 Hy4,作者实测将其与 WorkBuddy 搭配,展示多模态 Agent 的任务交付能力。该模型被视为国产开源阵营中性能靠前的新选手,进一步加剧开源大模型竞争。

#开源
Hacker News – AI·2 天前★ 4

Kimi 领衔中国 AI 模型主导开源企业支出

AI 摘要据南华早报报道,以月之暗面 Kimi 为代表的中国 AI 模型在开源模型的企业级支出中占据主导地位。这显示中国开源模型在成本敏感的企业市场中获得显著采用,正在改变全球开源模型竞争格局。

#开源
InfoQ AI·4 天前★ 4

2026 PyTorch 大会:谷歌与 Meta 开源 TorchTPU,原生支持 TPU 运行 PyTorch

AI 摘要在 2026 年 PyTorch 大会上,谷歌与 Meta 宣布开源 TorchTPU,使 PyTorch 能在 TPU 上获得原生支持。此举有望降低开发者在谷歌 TPU 上训练与部署模型的迁移成本,强化 PyTorch 生态与 TPU 硬件的结合。

#开源
内容有误或摘要不准?告诉我们
Havon v4 分词器:覆盖 204 种语言,英语 Token 数比 GPT-4o 少 6.1% - 智讯 AI News