★ 3
研究用 16MB 冻结词表替代小模型嵌入表
论文将 Gemma 3 270M 的可训练嵌入表替换为 16MB、512 位码的冻结词表，在相同 token 上从零训练同构模型。冻结表模型在 LAMBADA、HellaSwag、PIQA 上不劣于学习表，配合三值 BitNet b1.58 主干后整模型仅 46MB，笔记本 CPU 上生成速度达浮…
arXiv NLP14 天前
#小语言模型
共 19 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
8B小模型Little Dragon用RL训练生成GPU优化脚本，超越GPT-6 Astra等前沿大模型
论文提出「HOW TO TRAIN YOUR LITTLE DRAGON」训练方法，教一个80亿参数的小语言模型生成并改进GPU内核优化脚本，而非直接生成内核代码。研究基于TVM MetaSchedule构建了54,116个工作负载、108,594条训练样本，结合监督微调与带性能奖励的强化学习。最…
arXiv cs.LG17 天前
★ 3
新方法：用大模型迭代、用小模型部署，蒸馏生产行为至 SLM
论文提出先在 GPT-5.4-nano 等前沿大模型上通过提示词开发行为并接受实时流量反馈，收敛后将真实生产行为蒸馏进小模型。以居家护理排班智能体为例，LoRA 微调的 Qwen3-8B 在 1.16 万条生产决策上达到 0.913 一致率，高于教师模型自洽的 72.7%，延迟降低约 2.5 倍且…
arXiv cs.AI19 天前
★ 3
微调 Qwen3.5 小模型语法标注超越 GPT-5.4
研究团队微调 Qwen3.5 小语言模型用于语法概念标注，部署 0.8B 模型构建端到端语法掌握追踪器。在两个人工标注基准上，0.8B 与 4B 模型在精确率与召回率上均超过提示式 GPT-5.4 与 GPT-5.6 Sol，服务成本降低约 16 倍，在线实验显示学习者参与度提升 15.8%。
arXiv NLP24 天前
★ 3
研究：智能家居智能体多数调用无需前沿大模型
论文在开源智能家居框架 Wactorz 的五个 LLM 调用点上评测 9 个 0.8B 至前沿模型，发现能力排序因调用点而异，大模型并非全面更优。最佳本地模型在五个调用点中的四个与托管模型无统计差异，仅代码生成拉开差距。按调用点路由本地模型可达 91.8% 准确率，仅托管两个生成类调用点即可用 2…
arXiv cs.AI25 天前
★ 3
研究：现成小模型能否胜任智能体框架微任务
一篇 arXiv 论文构建了 4 项智能体微任务基准，测试 Qwen3 0.6B 至 8B 等现成小模型能否达到实践者设定的阈值。结果显示 16 种配置全部未通过资格规则，4 比特量化也无法弥补差距，缺口更多与模型规模而非精度相关。作者建议将小模型仅用于基线未达标的场景，例如用 4B 重排序器优化…
arXiv cs.AI31 天前
★ 3
研究：小模型多智能体辩论靠认知多样性提升推理
研究在23个小开源模型、5项任务、5500余次辩论与对照实验中发现，认知多样性假设在人格、采样温度、模型身份三个维度上均被否定。在生成预算匹配条件下，多智能体辩论与自一致性采样持平甚至更差，却消耗1.6倍时间和3.4倍token。作者指出辩论收益几乎全部来自首轮答案交换，并将其重新定性为集成采样效…
arXiv cs.AI33 天前
★ 3
研究：神经符号路由让边缘设备可靠推理
论文提出神经符号路由器，将查询分类并分派给最便宜的正确答案求解器，结构化任务交给确定性引擎，小语言模型仅处理开放式应用题。路由逻辑通过L*语法推断算法学习确定性有限自动机，以SLM为成员预言机。在树莓派4B上，学习路由达到100%路由准确率与98.3%总体准确率，远高于Program-of-Tho…
arXiv cs.AI33 天前
★ 3
TalkMesh：小语言模型网状网络学习通信时机与内容
论文提出 TalkMesh，一个由小语言模型智能体组成的去中心化网状网络，学习何时以及传递何种信息。智能体用置信度头评估提案，最自信者广播提示，低置信者据此修正，并以 gossip 共识近似置信度加权投票。三个智能体即可达到 32 次多数投票的准确率，且在部分智能体合谋攻击下具备一定防御能力。
arXiv cs.LG35 天前
★ 3
PTC-Decoder：面向离线边缘设备的智能小模型
论文提出 PTC-Decoder，一种免训练、即插即用的解码框架，通过 Plan-to-Act 范式强制首步调用规划工具，并用确定性有限自动机对工具名施加 token 级硬约束。在 200 个真实遥感卫星任务、7 个 SLM 上取得显著平均分提升，但最终答案准确率仍是待解难题。
arXiv cs.AI35 天前
★ 3
OrchSLM：小模型编排动态机制探究
论文探讨小语言模型在智能体流水线中替代云端大模型的潜力，指出其容量与上下文窗口限制会约束长程推理与交互式编排。作者提出OrchSLM路由框架，统一现有非交互式编排方法并将设计选择暴露为可控参数。通过该框架系统探究任务结构、模型池组成与多智能体共识等旋钮如何影响编排行为。
arXiv cs.AI48 天前
★ 3
小语言模型实现车载智能体函数调用
论文比较车载助手中两种函数呈现方式：专用功能令牌（FT）与提示内模式（SIP），并构建含 79 个 Android Automotive 车辆函数、9822 条单轮样本的基准。在训练中见过的函数上，270M 模型可匹敌 1.7B 模型，最佳整体性能出现在 0.6B；在留出函数上 FT 准确率为零，…
arXiv cs.LG53 天前
★ 3
指令微调小模型增量评估老年人金融诈骗风险
该研究提出基于指令微调小语言模型的累积轮次风险评估框架，用于检测针对老年人的多轮金融诈骗。模型在资源受限环境下持续更新风险估计，Phi-4和LLaMA-3.2表现较优，支持设备端隐私保护。
arXiv cs.AI61 天前
★ 2
研究提出 ELBP 架构，用小型语言模型预测用户求助行为
论文提出 Evidence-Grounded Local Behavioral Prediction（ELBP）四层架构，结合确定性交互处理、双视角行为表示、小模型预测与证据验证弃权机制，在本地设备上预测用户未来求助行为以保护隐私。Qwen2.5-3B 配合 ELBP 取得 0.80 的 F1 与…
arXiv cs.AI7 天前
★ 2
FederatedBytes 推出去分词器字节级小模型，用于多模态联邦学习
论文提出 FederatedBytes，一个把文本与图像等输入统一视为字节序列的小语言模型，配合线性注意力降低内存与计算开销，从而让联邦学习可承载 NLP 与多模态任务。在多语言亚马逊评论与 ScienceQA 的情感分析实验中，其准确率超过 ByT5 与 LSTM，并显著减少内存与通信开销。
arXiv NLP14 天前
★ 2
浏览器内用小语言模型运行 RAG
一篇技术分享介绍如何在浏览器中用小规模语言模型实现检索增强生成（RAG）。该方案让 RAG 无需依赖云端即可本地运行，降低隐私与部署成本，适合轻量级应用场景。
Lobsters – Machine Learning19 天前
★ 2
面向 SUD 患者对话的多目标对齐小模型框架
研究者提出一个认知对齐的小语言模型框架，用于物质使用障碍（SUD）患者对话生成，显式建模并对齐潜在认知成分。流水线包含认知成分检测与对齐对话生成两阶段，结合知识蒸馏、偏好优化与注意力引导奖励塑形。评估显示认知信息微调显著优于通用指令微调基线。
arXiv NLP25 天前
★ 2
LLM 蒸馏多标签主题：生成式与判别式对比
论文比较了 1B、4B、8B 小模型在生成式与判别式架构下的多标签主题分配表现，用于电商用户生成内容。结果显示判别式模型在结构化评论上更优，而最小 1B 生成式模型在多轮对话数据上超过判别式基线，并在标签集扩展时保持稳健。
arXiv cs.LG25 天前
★ 2
EGT-KG：面向实际科学问答的证据接地类型化知识图谱检索
EGT-KG是一个检索框架，用于改进本地小语言模型（SLM）的信息检索。它通过证据接地的类型化知识图谱，在有限文献、碎片化证据和有限上下文窗口下提升科学问答性能。实验表明，EGT-KG在大多数设置下优于普通RAG方法，最佳改进来自llama3:8b，最终得分提升14.67%。
arXiv cs.AI61 天前