GPT-6“看不懂 3D”实锤，250道题只拿0.53分，Claude没及格 - 纸牌规则

GPT-6 Astra之前因为一段绘制CAD的视频在X上引起热议。视频里展示了一个涡轮增压器，每个零件都单独建模，不仅能够正常旋转，还能一键拆解展开，视觉效果相当震撼。

一时间，GPT-6 Astra在BenchCAD上的得分高达95.9%，评论区里已经有不少人开始讨论CAD工程师的再就业问题。

不过，也有工程师出来泼冷水：这些零件，一个都不能送进生产线。因为画得像，不代表画得对。

内行看门道，外行看热闹。表面上看，模型能够复刻CAD的视觉界面，但从专业工程师的角度来说，这些模型在科学原理、几何结构以及部件之间的关系上，是否真的准确？有没有一个专业的测评基准，可以检验AI对三维科学对象的观察与理解能力，并评估其生成的三维对象是否符合科学与工程要求？

最近发现了一个benchmark，确实能够评测AI在建筑设计中的CAD能力。它会像专业工程师一样，走一遍零件的检查流程，从结构关系到几何细节逐项核验，判断模型生成的结果是否符合要求。

这个benchmark叫ScienceVision。它的评测范围不止于工程制图，还覆盖生物、化学、医学影像、建筑和机械CAD共5个科学领域、22个子领域，包含250道基于真实三维数据构建的题目，要求模型通过自主操作三维对象，完成观察、测量与分析。

考得最好的GPT-6-Astra（搭配Codex）只拿到了0.53分。满分1分。

在BenchCAD上拿到95.9分的选手，到了三维科学理解与推理的考场上，只过了一半。

ScienceVision出自UniPat AI和视觉推理实验室Elorian AI，是一个基于专家级视觉问答（VQA）的跨学科视觉三维理解与推理benchmark。团队透露，开发它的出发点是一个问题：AI能像科学家一样观察和推理吗？

根据现有的结果来看，评测覆盖了GPT-6 Astra、Claude Fable 5.1、Gemini 4 Argon、Qwen3.8 Max等当前最新、最强的12个开源闭源前沿大模型，没有哪个模型能在五个学科同时领先。

这到底是些什么题，能把一众模型卡成这样？

先看题长什么样

ScienceVision的demo展示了五个学科各一段检视操作实录，其中使用的3D工具是按照领域专家处理三维源数据的实际操作方式建模的，模仿了最真实的3D观察场景。

生物那段，是把整个蛋白质藏起来，只留一个柠檬酸分子和旁边几个离子，测量它们之间的距离。

化学那段最短，8步：框出一个晶胞，用对称操作看它怎么一层层堆叠下去。

医学影像那段，CT从三个方向来回切，找肾脏上那个病灶的边界。

CAD那段是一台叉车，零件一个个点开，数有几个长得一样。

建筑那段，是顺着一条坡道测量长度和高差，看坡度是否超标。

五段demo看下来，就像是各领域的人类专家在审核自己领域的3D视觉问题。动作本身都不复杂：转、点、量，但难的是每一步都得先想清楚往哪转、点什么、量哪里。如果不经历比较扎实的观察、理解、推理，是很难做出正确判断的。

光看视频不过瘾的话，可以自己上手。

这五道题的原始文件和检视工具，ScienceVision的blog上原样开放了：你可以自己点开题目，切换3D或平面视图，体验如何通过真实的三维检视过程，评估AI的科学观察能力。下方展示上手实测，大家可以感受一下：

题看完了，再来说说为什么要出这套题。

科学3D评测的空白地带

过去其实有不少3D理解与推理基准，覆盖室内场景理解、具身交互、抽象结构推理等方向，但它们主要服务于日常场景感知、机器人操作或工业设计等通用任务。

然而，真正面向科学领域的3D理解与推理基准几乎空白，仅有医学影像和机械工程等少数应用场景的专门基准，且尚未形成体系化的科学3D推理评测。

但科学研究过程天然对真实三维世界中的观察、推理能力有要求。

这种能力要求贯穿于不同学科的实践中：化学家要定位原子、测量几何关系；放射科医生要在不同切片间追踪结构；建筑工程师要切换视角、排除遮挡、确认构件的连接关系。

类似的活儿没有一样是看一眼图就能干完的。人类科学家需要根据过往经验，决定往哪看、怎么看、量什么，看完了再用专业知识下结论。放在AI Scientist身上，也是相同的道理。

ScienceVision考察AI的逻辑也一样：题目和数据摆在眼前，自己决定看哪里、怎么查。其中的关键之处，道理有点像「斯坦门茨画线」：画一条线值1美元，知道在哪儿画线值9999美元。这就能看出哪个模型更有水平了，而可靠的观察和理解，即是检验的第一步。

在过往科学领域3D理解和推理的评测方面，不同学科的问题设定、任务输入和评估方式五花八门，比如3D文件的格式不统一，渲染出来的交互逻辑也不一样，表达形式更是不一样。

ScienceVision要填补的正是这个空白，做出一个统一的跨学科3D视觉理解评测。

250道题，66位专家，近500小时

ScienceVision涵盖五个学科：生物学、化学、医学影像、机械CAD和建筑学。每个学科50道题，共250道，横跨22个子领域。

每道题由四部分组成：一份真实的3D源数据（分子坐标、CT体数据、机械装配体或建筑模型），一个领域问题（看什么、在哪找、用什么单位和坐标），一份作答要求（返回什么、什么格式），再加一个专家标好的参考答案。

答案用确定性规则核验，不用语言模型当裁判。没有「大致正确」这回事，到就是到，没到就是没到。

一个带确定性校验的benchmark，其实还有一层潜力：它几乎可以原地变成一个强化学习环境：答对给奖励，答错不给，不需要另一个模型当裁判。

不过，出这套题本身是一件极其困难的事。

首先，选出科学上有意义、确实依赖三维证据的问题。构题需要从具体科学对象出发，明确观察目标、判定条件和所需证据，并确认题目能够在给定环境中解答。每道题都要同时满足专业上成立、视觉目标清楚、答案可以复核。

其次，让不同领域的数据都能被正确观察和测量。分子坐标、CT体数据、机械CAD和建筑模型具有不同的格式、尺度、坐标约定和操作方式。转换与展示过程中，需要保留关键结构信息，并提供适合各类对象的查看、隔离、切片和测量能力。

最后，依靠领域专家建立可信的答案和证据过程。专家需要检查问题真实性和相关性，实际观察对象、计算或确认答案，记录关键步骤，并参与审核与返修。五个领域的专业规则不同，这些工作需要相应领域的知识和经验。

整套流程是机器和人接力干的。

先由自动化管线出题：从三维资产库里挑出适合出题的对象，试一下在查看器里能不能正常看、能不能量，再按模板生成候选题，过一遍规则筛选，打包。

然后专家接手：在3D标注平台上审题、改题，亲自上手转、隔离、测量，写下参考答案，操作轨迹顺手录下来，最后再过一道质量审核，不合格的打回。专家打回的意见又反过来喂给出题管线，让它下一轮少犯同样的错。

造题、专家审核、自动修题、改进管线，一圈一圈转下来，才有这250道。

最终，这套题的质量靠的是人。

UniPat AI搭建了覆盖五个领域的专家平台，维护66名领域专家，累计投入482.98小时。其中化学113小时，机械CAD 116小时，医学影像103小时，建筑77小时，生物74小时。

专家们审查问题、标注答案、记录操作过程，并参与多轮审核与返修。

这恰好呼应了ScienceVision的核心定位：它要测的是AI有没有专家级的观察能力，所以答案本身需由专家建立才更有说服力。

前面demo里那样的操作记录，250道题每一道都附带了，而且逐步保存了关键帧。

这些记录把科学观察从一个只看得到结论的黑箱，变成了可以逐步回放的过程。将来要训练AI学会「看」，这就是现成的对标数据。

考法上，ScienceVision在同一套250道题上比较了三种证据获取方式：

第一种，给模型原始三维数据，让它自己写代码分析。相当于给了你全部原始实验数据，你自己算。

第二种，在数据基础上再给一套交互检视工具，可以旋转视角、隔离结构、切片浏览、测量距离和角度。相当于不仅给了你数据，还给了你一台显微镜。

第三种，只给六张固定角度的二维渲染图。看你自己能从照片里看出什么？

三种方式用同一套评分标准。

这就可以直接回答一个问题：数据更多、工具更全，模型的表现到底会不会更好？

分数不高，反转不少

来看结果，最高分0.53（GPT-6-Astra搭配Codex），刚过满分的一半。而且这还不是答对率，它是包含部分得分的平均指标，真正完全答对的比例还要更低。

学科之间的差异比总分更有意思。

没有哪个模型五科全优。GPT-6 Astra在建筑、机械CAD和化学三科领先（0.458、0.580、0.609），生物被Claude Fable 5.1以0.650超过，医学影像则是Claude Opus 5.5以0.399领先。

CT本来就是一叠切片，放射科医生读的也是切片，模型训练时见过海量的二维医学影像。

但一个带轴序和体素索引的三维数组，模型就没有那么熟悉。

只给六张固定角度的渲染图，分数掉得更狠：最好的Claude Fable 5.1也只有0.30，GPT-6 Astra 0.25。

换句话说，给照片，模型看不出来；给三维数据，分数是上去了，但论文自己提醒，这些分可能是代码从坐标里算出来的，算不算「看见了」还两说。

扎心的是，给了工具也一样。

榜单前五的模型里，加上交互检视工具后涨得最多的GPT-6.1 Sol也只涨了0.02，GPT-6 Astra两种设置差不到0.01，Claude Opus 5.5还掉了0.02。

论文里还有个细节：即便在工具模式下，模型照样会去读原始坐标文件。也就是说，你给它一台显微镜和一张数据表，它选数据表。

医学影像是最意料之外的，模型的操作次数是专家的三倍左右，得分却是五个学科里最低的。

这说明当前的前沿模型即使获得了最充分的3D数据和工具支持，面对真实科学任务的观察与推理，也还差得很远。

点得多，不代表会观察、会推理。

第一次在统一框架下，衡量出AI三维科学观察的能力边界

在ScienceVision之前，科学多模态评测不是没有，但大多只管一个学科，只看二维图片，评分规则也各搞一套。

ScienceVision的独特价值，可以归成三件事：

第一，题是真三维的。模型拿到的是分子坐标、CT体数据、机械装配体、建筑模型这样的源文件，不是平面截图。答题得用领域知识去解释三维结构证据，有些题还要先从观察里把目标认出来，再接上拓扑和几何推理，一环扣一环。

第二，工具是照着专家工作流做的。视角切换、目标隔离、切片浏览、科学测量，这些检视操作通过MCP开放给模型，具体能做什么随查看器而定。看哪、怎么看、量什么，模型自己决定，没人替它挑证据。

第三，评分是确定性的，五个学科同一套。每道题有参考答案和预设规则，答案的各个组成部分分开核验，再按模型配置和学科汇总得分。不靠另一个模型打分，化学分子和建筑构件的成绩，第一次能放到一起比。

与之最相关的SciVisAgentBench同样支持三维交互检查，但评测目标不同：ScienceVision在五个学科中都采用同一类问题，即受领域知识约束的结构性问题，加上结构化的领域问题和逐题参考答案评分，SciVisAgentBench则主要围绕科学可视化软件中的任务展开，评估Agent生成的可视化与分析结果是否符合任务要求。

可以说，ScienceVision第一次在统一框架下衡量出了AI三维科学观察的能力边界。

知道差在哪，才知道怎么追。

下次再有人宣布「AI科学家来了」，可以先让它做完这250道题再说。值得一提的是，这些题目中甚至包含了对类似「二十一点规则」这类复杂逻辑的推理要求，进一步凸显了模型在科学观察上的短板。

本文来自微信公众号“新智元”，作者：ASI启示录，36氪经授权发布。