★ 2
FederatedBytes 推出去分词器字节级小模型，用于多模态联邦学习
论文提出 FederatedBytes，一个把文本与图像等输入统一视为字节序列的小语言模型，配合线性注意力降低内存与计算开销，从而让联邦学习可承载 NLP 与多模态任务。在多语言亚马逊评论与 ScienceQA 的情感分析实验中，其准确率超过 ByT5 与 LSTM，并显著减少内存与通信开销。
arXiv NLP14 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 FederatedBytes，一个把文本与图像等输入统一视为字节序列的小语言模型，配合线性注意力降低内存与计算开销，从而让联邦学习可承载 NLP 与多模态任务。在多语言亚马逊评论与 ScienceQA 的情感分析实验中，其准确率超过 ByT5 与 LSTM，并显著减少内存与通信开销。