★ 3
跨层共享专家提升 Transformer 参数利用率
研究提出 CS-MoE，一种跨层专家共享的 Transformer 架构，将层独立专家与全局共享专家池结合，实现 token 级参数激活与 FLOPs 的弹性控制。实验表明 CS-MoE 在仅激活 55% 参数时困惑度低于同规模稠密 Transformer，并在固定 FLOPs 预算下逼近 MoE…
arXiv cs.LG41 天前
#参数效率
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
ProtLingo：高效蛋白质语言模型
ProtLingo是一种高效的蛋白质语言模型框架，通过条件局部记忆和稀疏专家路由增强预训练单序列骨干网络。实验表明，在蛋白质适应度预测等任务上，该模型以1.5亿参数规模达到竞争性能，具有强参数效率。
arXiv cs.AI56 天前