#无编码器架构

研究称无编码器多模态大模型自学隐式编码器

研究实证分析 Gemma-4 12B 与 Inkling-Small 两个无编码器多模态大模型，它们直接将音频采样、像素或频谱特征输入 Transformer。发现模型早期层实际充当「隐式编码器」，对跨模态上下文基本不变，且独立编码各模态与从第一层联合编码精度相当。