★ 2
用神经时序点过程建模语言信息事件到达时间
研究提出用神经时序点过程(TPP)建模文本序列中关键信息承载事件的到达时间,输入事件间隔历史与 LLM 上下文语义表示,预测新词与高惊异度 token 两类事件的未来到达时间。结果显示 LLM 产生新词的速率显著高于人类,而高惊异度 token 无此差异。
arXiv NLP19 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究提出用神经时序点过程(TPP)建模文本序列中关键信息承载事件的到达时间,输入事件间隔历史与 LLM 上下文语义表示,预测新词与高惊异度 token 两类事件的未来到达时间。结果显示 LLM 产生新词的速率显著高于人类,而高惊异度 token 无此差异。
论文将业务流程剩余时间预测建模为带标记时序点过程的生成式序列建模,直接输出预测分布而非单点估计。针对真实日志中事件时间戳重复的问题显式处理并列事件,结合 Transformer 编码器与混合解码器,以精确对数似然训练。在十个公开日志上点精度与判别式基线持平,但剩余时间分布的校准与锐度更优,且单次前…