LLM记忆评估与程序分析

RENDER基准通过固定对话内容、变化读者可见的呈现形式，研究LLM记忆与RAG评估。实验显示，匹配预算的解析数据包比截断原始对话得分高42.4-72.6分，且呈现形式对模型表现影响显著。研究建议记忆/RAG评估应报告或控制读者可见的呈现形式。

作者意外发现将LLM的记忆机制用于程序分析，可能开辟新的研究方向。该发现引发技术社区关注。