这个测试不是跑几个 math benchmark 就收工的。1030 个任务分成五类：SWE 类真实仓库 bug 修复（460 题）、终端运维类长链路操作（安全、加密、逆向、系统管理）、算法题、六语言交叉实现、法律 agent 任务。
论文按照软件工程的开发流程，依次完成了系统的需求调研、可行性分析、总体架构设计、功能模块设计、数据库设计以及各功能模块的编码实现与系统测试。
水性笔的主要溶剂是水，常见的水性笔有钢珠笔、签字笔、塑料、毛笔和萤光笔，水 性笔较油性笔无味，笔尖不易干燥，其笔迹耐光但不耐水，遇到水会渲染开来，不慎摔过就很容易断水。
添加了 SQLITE_UTF8_ZT 常量，可将其用作 sqlite3_result_text64() 或 sqlite3_bind_text64() 的编码参数， 以指示该值为 UTF-8 编码并以零结尾。
结果 93% 的通过率，高于任何一个单模型。K3 被选中了 72-96% 的任务，这意味着大多数时候开源模型就够用了。