★ 3
SemVerBench:LLM 版本约束解析语义理解基准
研究推出SemVerBench,评测LLM编码智能体对^1.2.3、>=2.0等版本约束语义的理解。Cargo的插入符语义(1.2意为>=1.3.0)几乎困住所有模型,接近60%出错;PEP 440前缀匹配普遍可行,但零填充与后发布边界情形下GPT-5.1全错(0/26),Claude保持97-1…
arXiv cs.AI51 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究推出SemVerBench,评测LLM编码智能体对^1.2.3、>=2.0等版本约束语义的理解。Cargo的插入符语义(1.2意为>=1.3.0)几乎困住所有模型,接近60%出错;PEP 440前缀匹配普遍可行,但零填充与后发布边界情形下GPT-5.1全错(0/26),Claude保持97-1…