★ 3
Giraffe架构：用单令牌实现高效图形设计生成
多模态大模型在媒体生成方面能力有限，现有方法需多个专用令牌表示图像，导致输入过长。Giraffe架构通过单[IMG]令牌将隐藏文本表示映射到视觉嵌入空间，采用两个浅层MLP块和六种损失函数训练，推理时省略一个块，实现轻量化。在图像到设计和文本到设计任务中表现优异。
arXiv cs.AI68 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
多模态大模型在媒体生成方面能力有限，现有方法需多个专用令牌表示图像，导致输入过长。Giraffe架构通过单[IMG]令牌将隐藏文本表示映射到视觉嵌入空间，采用两个浅层MLP块和六种损失函数训练，推理时省略一个块，实现轻量化。在图像到设计和文本到设计任务中表现优异。