PAU代码API理解基准

论文提出PAU基准，让模型仅通过黑盒API级访问与探索性输入来理解Python代码片段的功能，研究无监督工具理解问题。即便前沿模型表现也不佳，最强的Claude-4-Opus在超过45%的测试集上失败，常见错误是过度自信导致探索不足与过早终止。借鉴非对称演员评论家范式后训练，Qwen3-8B可匹配GPT-5-mini。