RULER

RULER 由英伟达等机构于 2024 年提出，旨在全面评估大语言模型的长上下文理解能力。它包含 13 种任务，如检索、多跳推理、聚合和问答，上下文长度可扩展至 128K 以上。与简单的大海捞针测试不同，RULER 通过控制任务复杂度和上下文长度，更细致地衡量模型的有效上下文窗口，揭示模型在长文本下的性能衰减。