★ 3
研究：LLM评审对句式改写敏感，可致模型排名反转
论文提出「Prompt Lottery」现象：语义等价但表面表述不同的评审提示会让LLM-as-a-Judge给出不同判断，部分场景下甚至反转模型相对排名。10名标注者的用户研究显示，LLM评审在提示改写下的一致性下降幅度是人类的6至9倍。多提示聚合可显著提升评审稳健性。
arXiv NLP2 天前
#提示工程
共 45 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：LLM 评审可自我去偏，21 组中 20 组提升
论文提出两种轻量策略：偏置感知提示与自我去偏，让 LLM-as-a-Judge 无需额外训练即可减轻系统性偏差。作者新增权威偏差、自信偏差、格式偏差三类基准，共评测七种偏差。在三个前沿模型上，自我去偏在 21 个模型-偏差组合中 20 个有提升，最高 +15 个百分点；而微调的外部评审模型对新偏差…
arXiv cs.AI12 天前
★ 3
arXiv 研究物理标注提示下 LLM 作为仿真器校准智能体
论文测试 LLM 在物理诊断描述条件下能否比无导数优化器更高效地提出仿真参数更新，任务包括圆柱尾流大涡模拟与阻尼振子反问题。物理提示在早期优势明显（5 次评估后误差低 21.9 倍），但优势在 15 次评估后消失；作者提出 LLM 热启动加传统优化器的混合流程，仅 9 次仿真即达标。
arXiv cs.LG13 天前
★ 3
HSAD 方法提出：8B 顾问模型蒸馏失败经验，金融智能体合格率升至56.6%
论文提出后见之明结构化建议蒸馏（HSAD），训练小型顾问模型读取输入并生成结构化建议，附加到冻结执行器提示中。在 FrontierFinance 基准上，8B 顾问将 Samaya 研究智能体合格率从52.9%提升至56.6%，成本降低37%，并在 WebShop、BIRD text-to-SQL…
arXiv cs.AI20 天前
★ 3
研究揭示 LLM 评判模型受请求呈现方式影响的对抗漏洞
研究发现，在结构化评判请求中仅添加一个冒号即可使答案评判模型产生误判，且漏洞程度随请求呈现方式显著变化。在 DROP 与 GSM8K 的 200 个源簇上，Jev 的误接受率从 1.0% 升至 26.0%。GPT-6 Sol 未观察到该条件下的误接受。
arXiv NLP23 天前
★ 3
研究：可见思维链并非通用优化器，效果依赖人设与目标语言
论文通过 SQL 与 Python 双目标语言的 analytics 代码生成基准，测试可见思维链（CoT）是否在推理表示与目标语言匹配时更有效。结果显示可见 CoT 无普遍精度优势，效果取决于人设、目标、模型配置与内部推理设置，推理策略应联合选择而非默认采用。
arXiv cs.LG23 天前
★ 3
直觉式提示提升 LLM 社媒反应模拟保真度
研究以八名塞尔维亚参与者为画像，让四个语言模型在五种提示条件下预测其对 68 条社媒帖子的反应。态度类画像信息远优于人口统计背景，而要求模型「直觉、即时」作答的保真度最高，并将个体差异压缩从人类水平的七倍降至三倍。该优势在问卷未涉及的话题上同样成立，提示此类智能体可作通用模拟用户。
arXiv cs.AI34 天前
★ 3
智能体框架内的上下文工程：四大机制应对长任务溢出与目标丢失
文章剖析了浅层智能体在长周期任务中面临的两大失败模式：上下文溢出与目标丢失。文章揭示了 LangChain Deep Agents、Claude Code、Manus、OpenAI Codex 和 Amazon Bedrock AgentCore 实际采用的阈值与机制，并配有交互式模拟器展示 20…
MarkTechPost49 天前
★ 3
吴恩达斯坦福演讲：提示工程将在6个月内消亡
吴恩达在斯坦福的演讲中提出提示工程将在6个月内过时，引发Hacker News社区讨论，热度17分，4条评论。该观点可能影响AI应用开发范式。
Hacker News55 天前
★ 2
PromptSense 提出情绪感知心理健康聊天机器人框架
论文提出 PromptSense 框架，在模型推理前融合情绪与抑郁分析与规则过滤机制，依据情绪与风险洞察动态构建提示词。评估显示提示工程方案在共情、有用性、清晰度、安全等指标上分别优于 DSFT 与 RLAIF 1.8% 和 1.1%。目标是提升心理健康对话的共情与风险意识。
arXiv cs.AI2 天前
★ 2
研究提出隔离异议的写作框架，智能体过度防御性表述减少 96.61%
论文针对智能体扩写报告时先强化主张再免责的「过度防御性写作」问题，认为根源是智能体在面向对抗性 AI 评审而非人类读者写作。作者设计将评审、过滤与写作分离的框架，写作智能体只接收过滤后的问题。在 25 份商业项目草稿上，防御性表述从 59 降至 2，来源主张保留率从 80.35% 升至 93.12…
arXiv NLP4 天前
★ 2
POS-Signature 示例检索提升上下文依存句法分析准确率
论文研究上下文学习中的示例选择，提出用加权词性统计表示句子的 POS-Signature 策略，为 Universal Dependencies 句法分析检索长度兼容的标注示例。在两个开源权重模型上，该方法在 UD English Web Treebank 测试集取得最高标注依存分数（72.4 与…
arXiv NLP6 天前
★ 2
研究提出 LLM 智能体行为分析通用框架
论文提出一个连接数据驱动行为发现与实验分析的通用框架，用于理解语言智能体在轨迹中的动作组织方式及其与上下文、结果的关系。框架支持统计评估、留出情境检验与提示引导实验，并以迭代自我反思研究作为示例。
arXiv cs.AI6 天前
★ 2
研究：GPT-5.5 竞赛编程表现随提示风格与指标而变
论文在IOI三道准确率任务与两道NP难速度任务上，用九种提示风格各一条提示测试GPT-5.5，发现没有普适最优提示，最佳风格取决于任务类型及均值/中位数汇总方式。与人类IOI选手描述性对比，AI一题超过平均选手、两题落后。
arXiv cs.LG9 天前
★ 2
论文提出 RE-ZS-CoT：专家角色增强零样本思维链提示
研究提出角色增强零样本思维链（RE-ZS-CoT）提示框架，将领域专家角色系统性地融入 LLM 推理，无需任务示例。在 20 个模型与 7 个基准上测试静态与动态角色选择，性能最高提升 44 个百分点。消融显示不匹配的角色会损害表现，强调任务与角色对齐的必要性。
arXiv NLP10 天前
★ 2
研究：微调 RoBERTa 与 GPT-3.5 集成兼顾成本与性能
该论文在 16 类问卷文本分类任务上对比了微调 RoBERTa 与现成 GPT-3.5 的性能、成本与耗时。RoBERTa 的 F1 达 96%，远高于 GPT-3.5 的 83%，且推理耗时仅 12 分钟对 6 小时。GPT-3.5 采用批处理提示可降低约 70% 推理成本，两者集成后 F1 达…
arXiv NLP12 天前
★ 2
Agentfork 开源：可从任意步骤重放并测试 LLM 智能体修复
开发者发布开源工具 Agentfork，记录智能体的每次 LLM 与工具调用，可从缓存重放此前步骤，并对单一步骤批量运行多种提示词、模型或工具结果变体，输出通过率而非单次结果。工具完全本地运行，支持 OpenAI、Anthropic 与 LangGraph，示例显示改提示词比换更大模型更有效且成本…
Hacker News – LLM15 天前
★ 2
ECI2D：用可执行因果干预蒸馏自生成上下文示例
论文指出自生成上下文学习（ICL）的观察式过滤存在观察等价问题，忠实因果理由与虚假事后理由难以区分。提出 ECI2D，将语言理由抽象为可执行程序，在逻辑相似样本上施加因果干预（do 算子），仅保留具迁移不变性的示例。在数学、逻辑与常识推理基准上持续优于观察式 ICL，分布偏移时增益超 7 分。
arXiv NLP16 天前
★ 2
Geoffrey Huntley 谈用 pre-commit 钩子约束编码智能体
开发者 Geoffrey Huntley 分享其管理编码智能体的方法：通过 pre-commit 钩子检查 git diff，若发现绕过诊断模块直接调用可观测性模块的代码则拒绝提交，并向智能体注入提示要求其使用诊断库。他认为这种机制比更新 AGENTS.md 更有效，能显著提升智能体代码质量。
Simon Willison Blog19 天前
★ 2
SharP：软硬提示引导 LLM 增强低资源假新闻检测
论文提出 SharP 框架，用硬提示提供结构化事实约束、软提示引入学习到的语义模式，并加入边界感知策略，引导 LLM 生成任务相关的合成样本。该方法旨在缓解低资源假新闻检测中标注数据稀缺、现有增强方法内容过于泛化的问题。
arXiv NLP20 天前
★ 2
提示词 vs 规则：语音用户模拟自然度审计
论文审计了基于 LLM 提示的 tau-Voice 与基于规则的注入算法在语音用户模拟中实现的不流畅、打断与附和等自然度行为。结果显示提示方式不可靠、生成的语音与指令不一致且分布不自然，而基于规则的无模型算法更可控、更贴近真实语音。作者认为未经用户模拟专门训练的 LLM 不足以代表真实用户行为。
arXiv NLP23 天前
★ 2
研究：LLM 智能体常驻上下文文件的容量配置模型
论文将 LLM 智能体的常驻上下文文件（如 AGENTS.md）策展建模为带容量约束的选品问题，证明最优文件大小存在上界，且逐条追加指令的净价值可能远劣于最优子集选择。研究还分析了反馈被截断情形下的增删决策，并指出删除被忽略指令可能误删有用指令，实验表明无关规则会降低模型遵从度。
arXiv cs.AI23 天前
★ 2
LASEF 框架研究多语言推理的骨架语言选择
研究提出语言感知骨架探索框架 LASEF，考察多语言数学推理中推理骨架该用哪种语言。结果显示英语骨架平均略有正向倾向，在小模型和低资源语言上更明显，但校正后显著的语言级收益很少，英语并非普遍最优。作者归纳出三类骨架语言效应，并开源全部资源。
arXiv NLP24 天前
★ 2
智能体技能下游效用实证研究：87 项任务分析
论文对 87 项 SkillsBench 任务开展实证研究，定义下游效用为同模型同框架下相对无技能基线的通过率差异。研究发现同一技能在 36.78% 任务上帮助部分配置却损害另一些配置，推荐流程可能成为执行负担，相关性排序会忽略更有用的候选。按所需操作支持重排序可将首选通过率提升 4.35-5.8…
arXiv cs.AI24 天前
★ 2
Toketer：编辑器内实时查看AI提示成本
Toketer推出VS Code插件，可在编辑器内实时显示每次AI提示的调用成本。该工具帮助开发者控制大模型API开销，提升成本意识与使用效率。
Hacker News – AI25 天前
★ 2
AI使用类型学：渔夫模式
作者在企业级AI使用经验基础上，提出超越半人马与赛博格二分法的第三种AI使用类型——渔夫。渔夫模式主张在项目初期撒下极宽的上下文大网，随后针对具体目标收窄投掷，兼顾广度探索与精准执行。
Hacker News – AI26 天前
★ 2
给AI智能体一套领域特定语言
一篇技术博客探讨为AI智能体引入领域特定语言（DSL）的思路，主张用受限语法约束智能体的行为与工具调用，从而提升可控性与可验证性。文章认为相比自由文本提示，DSL能让智能体的决策更结构化、更易调试。
Hacker News – AI27 天前
★ 2
类型化决策模型中标签压倒定义
论文研究 Jev 式类型化决策模型：每个选项带有短标签与书面定义，但模型输出概率更多取决于标签而非定义，作者称之为「选项标签偏置」。删除全部定义准确率几乎不变，而把选项改名为 A、B 可提升 15 个百分点。作者定位问题源于提示渲染方式而非受限决策头，并给出两步测试与四种缓解措施的评估。
arXiv cs.AI27 天前
★ 2
简洁机制界面引导LLM智能体决策
论文在拍卖与匹配等多智能体环境中研究交互格式与文本脚手架能否帮助LLM智能体做出更好决策。实验发现，升价拍卖界面显著降低出价偏差，展示收益条件与解释真实报价安全性也能改善选择；而要求规划匹配轮次或推测对手信念的提示反而整体变差。研究还发现行为改善未必伴随策略理解语言指标的提升，提示脚手架应通过实际…
arXiv cs.AI32 天前
★ 2
戳破 AI 虚张声势：“别犯错”毫无作用
一篇基准测试文章探讨在提示词中加入“别犯错”等指令是否真能提升模型表现，结论是几乎没有差别。该结果对提示工程中的常见民间经验提出质疑，属于小范围技术讨论。
Hacker News – AI33 天前