★ 3
无状态LLM API的会话数据架构：水合代理模式
本文提出水合代理模式，用于解决无状态LLM API在企业会话系统中的架构缺口。该模式将会话持久化与推理引擎解耦，确保平台对会话数据的主权，同时支持安全的多阶段语义接地。研究还提出上下文稳定化指令，以平衡主权状态管理与KV缓存之间的权衡。
arXiv cs.AI60 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
本文提出水合代理模式，用于解决无状态LLM API在企业会话系统中的架构缺口。该模式将会话持久化与推理引擎解耦，确保平台对会话数据的主权，同时支持安全的多阶段语义接地。研究还提出上下文稳定化指令，以平衡主权状态管理与KV缓存之间的权衡。