• 论文链接：https://arxiv.org/pdf/2502.14739
• 数据集：https://huggingface.co/datasets/m-a-p/SuperGPQA
• 项目主页：https://supergpqa.github.io/

在人工智能快速发展的浪潮中，准确评估AI模型的能力已成为产业发展的关键课题。在探索AI能力边界的道路上，研究者们深刻认识到现有评测体系的局限性。这促使研究学者们与行业顶尖研究机构展开合作，共同突破AI评测的固有范式。在这样的背景下，具有里程碑意义的 SuperGPQA 项目应运而生。

1. 前沿洞察：AI评测的现实困境

随着 GPT-4、Claude 等大语言模型在主流学科领域展现出接近甚至超越人类的能力，如何准确评估AI在更广泛专业领域的真实水平成为了一个紧迫的挑战。现有的评测基准如 MMLU 和 GPQA ，在学科覆盖上存在严重失衡——轻工业、农业、服务科学等长尾学科的覆盖率不足5%，且评测题目的区分度逐渐失效。针对这一现实困境，2077AI 联合顶尖研究机构，历时半年打造了 SuperGPQA 项目。首次实现覆盖 285 个研究生级学AI评测基准。

不同模型的基准比较

2. 突破性创新：重构评测范式

在规模和深度上，SuperGPQA 实现了突破性创新。项目构建了包含 26,529 道专业问题的庞大知识体系，远超GPQA 的 448 题和 MMLU-Pro 的 12,032 题。在学科覆盖方面，SuperGPQA 跨越 13 个门类、72 个一级学科、285 个二级学科，实现了对人类知识体系的全面映射。每道题目平均配备 9.67 个选项，显著高于传统 4 选项格式，大幅提升了评测的挑战性。值得注意的是，在选取的题目中，42.33% 的题目需要数学计算或形式推理，这一设计确保了评测的区分度和深度。

SuperGPQA 的数据收集过程

2.1. 技术亮点：跨学科语义分析

通过 t-SNE 可视化分析，研究团队发现 SuperGPQA 在语义空间中呈现出独特的跨学科聚类模式。工程和科学类问题表现出高度语义相似性，而人文学科则保持其独特的知识中心，不同学科的集合，实现了对于多元化人类知识体系的完整映射。这种分布特征也验证了评测集的科学性和全面性。

对于学科问题采样的可视化

2.2. 方法创新：三阶段质量控制

为确保评测的可靠性，项目团队设计了严格的三阶段质量控制机制。

在源头筛选阶段，SuperGPQA 团队摒弃了传统众包方式，由专家团队从教材和权威资料中精选原始问题。

在标准化转录阶段，专业团队对所有问题进行学术语言规范化和格式统一，确保问题的平均长度维持在 58.42 字，保证选项的一致性和可比性。

在质量检验阶段，研究团队综合运用自动化规则检查、多模型交叉验证和专家深度审核，构建起严密的质量保障体系。

SuperGPQA 对正误判断题目的复杂化改写流程

3. 关键发现：揭示AI能力边界

通过对 51 个主流模型的系统评测，研究团队获得了一系列重要发现。

在 SuperGPQA 的评测标准下，即使表现最优的 DeepSeek-R1 模型对于多学科问题的回答也仅达到 61.82% 的准确率，这一结果清晰地揭示了当前AI与通用人工智能之间存在的显著差距。实验数据表明，指令微调对于模型性能具有显著提升作用，以 DeepSeek-V3 为例，指令微调版本的准确率（47.40%）远超其基础版本（32.14%）。

不同模型在 SuperGPQA 标准下的表现

在深入分析的过程中，研究团队观察到，模型规模与性能均衡性之间存在明显关联。DeepSeek-R1 在不同难度题目上表现稳定，简单题目准确率为 63.59%，中等难度为 63.63%，困难题目达到 56.87%。此外，模型版本迭代带来的性能提升效果也十分显著，如 GPT-4o 系列随着版本更新，准确率从 39.76% 持续提升至了 44.40%。

4. 未来展望

SuperGPQA 的开源发布不仅填补了AI评测领域的重要空白，更开创了一个新的研究范式。这一突破性成果为学术界和产业界提供了可靠的“指南针”，指引着AI技术的发展方向。作为 SuperGPQA 项目的核心参与者，2077AI 与项目团队共同规划了评测体系的未来发展方向。研究团队将持续扩展评测维度，引入更多专业领域的细分评估标准，开发动态难度调整机制，并构建跨语言评测能力。在方法论层面，项目团队致力于优化人机协作评测机制，发展自适应题目生成技术，建立更精细的能力分类体系。同时，SuperGPQA 团队也将大力推动评测标准的开源共享，建立全球协作研究网络，促进产学研深度融合发展。