首个三模态掩码扩散模型MDM发布,从零预训练文本图像音频
研究者提出首个从零预训练的三模态掩码扩散模型(MDM),覆盖文本、图文与音频文本数据。论文系统分析了多模态缩放定律、模态混合比例、噪声调度与批大小效应,并给出优化的推理采样默认参数。批大小分析还导出了基于随机微分方程(SDE)的新方法。
共 13 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究者提出首个从零预训练的三模态掩码扩散模型(MDM),覆盖文本、图文与音频文本数据。论文系统分析了多模态缩放定律、模态混合比例、噪声调度与批大小效应,并给出优化的推理采样默认参数。批大小分析还导出了基于随机微分方程(SDE)的新方法。
论文提出 Minions,一个动态分布式虚拟 GPU 云,把 macOS 设备上闲置的 Apple Silicon GPU 聚合起来执行大规模机器学习推理。该方案针对集中式 GPU 基础设施成本高、弹性差、排队久的问题,让团队复用已有设备算力。
一篇论文挑战语言模型必须依赖显式分词器的假设,证明标准扁平 Transformer 可直接处理原始字节序列,并在参数规模扩大时超越传统子词模型。研究通过 token-superposition 训练与哈希嵌入实现更低最优损失,并发现字节模型会自发形成局部抽象结构,为投机解码带来约 3.4 倍的接受…
一篇发表于《消费者心理学杂志》的学术论文探讨AI引发的去人性化现象。研究关注人机交互中人们对他人感知的变化,属于AI社会心理影响的学术研究。
一篇 PDF 论文探讨纳维-斯托克斯方程与 AI 在数学研究中的角色,讨论 AI 辅助证明与研究范式的转变。该文与 OpenAI 相关声明形成呼应,属于学术层面的延伸讨论。
VLDB 期刊发表论文,探讨利用同态加密实现大语言模型的隐私保护推理,使模型在密文上完成计算而无需暴露用户输入。该方向对隐私敏感场景下的云端 LLM 部署具有意义。
一篇学术论文提出大规模离子电子(iontronic)皮肤,采用神经层级处理架构,模拟生物神经系统的分层信号处理方式。该工作面向柔性电子与类神经感知器件,可能推动机器人触觉与仿生传感发展。
一篇arXiv论文提出Vosti,用于规约、实现并验证确定性的大语言模型推理过程。该工作关注推理结果的可复现性与形式化验证,对可靠部署LLM有潜在意义。
一篇 arXiv 论文探讨 AI 工具普及后本科数学研究的未来走向,讨论 AI 在数学发现中的角色及其对数学教育的影响。文章反思了当 AI 能完成部分数学工作时,人类研究者应培养哪些能力。
布朗大学发表论文,探讨在智能体 AI 时代如何向初学者教授计算与编程。文章关注 AI 代理工具普及后,编程教育的目标、方法与课程设计应如何调整,以培养适应新时代的开发者。
研究者发布 TORI 2.0,一个用于描述宇宙尺度 AI 循环与数据衰减的数学框架,论文托管于 Zenodo。该工作在 Hacker News 上分享,目前热度极低。
一篇 arXiv 论文研究 LLM 智能体能否把自身能力转化为低成本、可复用的产物(artifacts)。该研究关注智能体能力的实际经济价值与可迁移性,属于智能体经济性方向的学术探索。