★ 3
LLM微调是否需要人类可读文本
论文探究人类可读性是否为LLM有效微调的必要条件，提出DASA方法，利用冻结参考模型的激活梯度反馈优化连续合成输入嵌入，直接用于下游微调。在Llama与Qwen家族六个1B至32B模型、六个基准上，DASA在匹配LoRA设置下性能与源自然语言数据相当甚至更优，并比GRADMM快3.6至4.9倍。
arXiv cs.AI33 天前
#嵌入优化
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
生产级 AutoResearch：失败模式与多智能体框架
论文将 Karpathy 的 AutoResearch 范式（大模型迭代修改训练脚本并保留提升指标的改动）应用于生产级推荐系统嵌入优化，历时十二周、220 余次实验。作者识别出基础设施脆弱、智能体记忆衰减、搜索方向停滞、迭代成本不对称、指标固着五类失败模式，并提出「预防-持久化-重定向」三原则脚手…
arXiv cs.LG35 天前