★ 3
九章云极 Alaya-DFlash2 助 GLM-5.3 解码提速 3.41 倍
九章云极推出 Alaya-DFlash2,针对长文本推理瓶颈优化解码效率,使 GLM-5.3 的解码速度提升 3.41 倍。该方案面向长上下文场景下的推理加速,旨在降低大模型长文本处理的时延与成本。
InfoQ AI12 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
九章云极推出 Alaya-DFlash2,针对长文本推理瓶颈优化解码效率,使 GLM-5.3 的解码速度提升 3.41 倍。该方案面向长上下文场景下的推理加速,旨在降低大模型长文本处理的时延与成本。
一篇技术文章记录了用 LLM 处理约 9000 页德国政党选举纲领时出现的失败情况,探讨长文档、多来源文本在模型理解与抽取中的实际局限。
研究者提出 BioBigBird,一个在生物医学文献与临床数据上预训练的双向语言模型,采用稀疏注意力机制处理最长 4096 令牌序列。通过多任务学习联合优化命名实体识别与关系抽取,在 BLURB 基准上取得与最先进模型相当的结果,模型已在 Hugging Face 公开。