★ 3
信念状态引擎:部分可观测下的LLM规划增强
LLM智能体在部分可观测环境中易出现过早承诺、不确定性坍缩与策略漂移,根源在于其作为历史条件策略缺乏对隐藏状态的显式信念。论文提出信念状态引擎(BSE),在LLM外部维护POMDP潜在状态的贝叶斯后验,每步仅向LLM暴露后验而非原始动作-观测日志,并证明该组合是信念MDP上的可靠马尔可夫策略。在T…
arXiv cs.AI53 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
LLM智能体在部分可观测环境中易出现过早承诺、不确定性坍缩与策略漂移,根源在于其作为历史条件策略缺乏对隐藏状态的显式信念。论文提出信念状态引擎(BSE),在LLM外部维护POMDP潜在状态的贝叶斯后验,每步仅向LLM暴露后验而非原始动作-观测日志,并证明该组合是信念MDP上的可靠马尔可夫策略。在T…
论文提出对每步即时成本在信念分布上施加CVaR,直接针对当前状态的不确定性,而非修改价值函数。该方法保留标准期望累积回报目标,使任何基于期望的POMDP规划器只需改动成本计算即可获得风险敏感性。作者给出策略评估与稀疏采样的有限时间保证,并证明粒子信念MDP代理与原始POMDP之间的有限时间误差界,…