★ 3
LLMAE：将预训练 LLM 改造为高保真连续文本自编码器
论文提出 LLMAE，通过在预训练解码器 LLM 内部激活中暴露定长隐瓶颈，将其改造为连续文本自编码器，弥补文本缺乏高保真连续表征的空白。以 2.7 亿参数的 Gemma 3 实例化，结合结构化注意力掩码、LoRA 适配与 KL 正则，可近完美重建最长 1024 token 的文本。作者进一步用该…
arXiv cs.LG39 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 LLMAE，通过在预训练解码器 LLM 内部激活中暴露定长隐瓶颈，将其改造为连续文本自编码器，弥补文本缺乏高保真连续表征的空白。以 2.7 亿参数的 Gemma 3 实例化，结合结构化注意力掩码、LoRA 适配与 KL 正则，可近完美重建最长 1024 token 的文本。作者进一步用该…