★ 3
Acacia：在网页图上训练的图基础模型
论文提出图基础模型 Acacia，完全基于 Common Crawl 网页图从零训练，不依赖预训练 LLM。它无需额外训练即可支持任意特征维度与语义，覆盖节点分类、链接预测、节点聚类和图生成等任务，并具备上下文学习能力。该结果提供了图模型可像 LLM 一样从零涌现能力的证据。
arXiv cs.AI35 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出图基础模型 Acacia，完全基于 Common Crawl 网页图从零训练，不依赖预训练 LLM。它无需额外训练即可支持任意特征维度与语义，覆盖节点分类、链接预测、节点聚类和图生成等任务，并具备上下文学习能力。该结果提供了图模型可像 LLM 一样从零涌现能力的证据。
论文指出联邦多模态图基础模型中编码器与GNN的适配并非独立，跨客户端模块交换显示二者存在显著配对敏感性。为此提出FedCORE，用共享低维隐状态表示编码器与GNN更新，在共享状态空间中进行联邦演化。实验将编码器-GNN配对差距从30.6降至5.9，减少80.7%。