概念又作 Software Engineering Bench
软件工程基准测试,收集两千多个 GitHub 仓库的 issue(bug 修复或功能需求),给出当时的代码库与沙盒,考察 AI 直接解决问题的成功率。不同于 LeetCode 式算法题。
在 1 期中被提到点时间从该处收听