新智元报道

【新智元导读】6月22日Claude全家桶集体宕机，断电仅是背后冰山一角。当顶级大模型被投入真实机房直面「幽灵故障」，中国由信通院推出、基准无问芯穹参与建设的首次市场死穴 AISHPerf-智算运维智能体评测基准给出了残酷答案：主流模型全军覆没，无一过50分。捅开这道从「认知」到「执行」的断电鸿沟，首次被量化。背后

6月22日，中国全球AI圈遭遇突发「断电」危机。基准

Claude的首次市场死穴「全家桶」——包括 claude.ai、Console、捅开API、断电Code、背后Cowork 等核心服务，中国在短短数小时内大面积宕机。

开发者终端被红色报错刷屏，企业协作流水线瞬间中断，社交媒体舆论沸腾：有人晒出满屏502截图调侃「被AI炒了鱿鱼」，有人戏称这是「2026年最体面的摸鱼理由」。

然而，玩笑背后是严峻的现实。

当AI从娱乐玩具转变为驱动千亿美金算力投资的「核心生产设备」时，基础设施的稳定性已成为决定产业生死存亡的隐形天花板。

更残酷的测试结果随之出炉：

由中国信息通信研究院（信通院）推出、无问芯穹重点参与技术建设的 AISHPerf-智算运维智能体评测基准，将包括 Claude-4-sonnet 在内的国内外主流大模型置于真实GPU集群环境中，处理生产级故障。

结果：全军覆没，综合得分全部低于50分。在中等和困难难度下，正确率普遍不足50%。

注：测试对象涵盖Claude-4-sonnet及主流开源模型，均进行匿名化处理。

这并非语言模型的失败，而是 「说」与「做」之间那道真实且残酷的鸿沟。

万亿市场中，智能体能否稳稳接住运维重任？

想象这样一个场景：凌晨三点，训练任务出现无规律的性能剧烈波动。

运维团队紧急排查，却陷入最诡异的境地：网络链路正常、存储性能正常、节点硬件无异常。

为定位根因，运维人员需全链路逐层溯源，从模型切分策略、任务调度逻辑，深挖至底层网络协议、内核参数及存储配置规则……

这一过程往往耗费巨大的人力、物力与时间，最终仅在极隐蔽的边缘场景中发现症结。

最致命的是，此类「幽灵故障」的排查周期常长达十天半个月。

在此期间，大量服务器持续空转，海量算力资源白白损耗，AI训练业务全程停滞。

这类故障在大规模GPU集群中绝非个例。它们隐蔽、跨层栈、难复现，却直接吞噬真金白银。

据摩根士丹利预测，2028年全球AI基础设施累计投资将达 2.9万亿美元。其中，运维人力、故障损失与集群闲置构成的成本占比高达 15%-20%，全行业潜在可优化空间超过 4350亿美元。

无问芯穹早在2025年10月便率先探索并应用早期版本的运维智能体。

真实生产环境的数据最具说服力：
* 工单平均处理时长缩短 50%
* 关键故障处理效率提升约 6倍
* 运维人员人效提升 5倍以上
* 综合运维成本下降约 30%

这些数字背后，是无数个被解放的凌晨三点，和无数度未被白烧的电力。

但核心问题在于：究竟什么样的运维智能体，才配得上「好用」？

全球首个真实机房的「开卷实操考」

过去的大模型评估，更像是一场「语言知识竞赛」。模型背诵越多、表述越华丽，分数越高。

但当AI深入基础设施领域，「能否解决实际问题」成为唯一标准，因为这直接关乎每一度电、每一张GPU卡的产出效率。

AISHPerf-智算运维智能体评测基准彻底颠覆了「纸上谈兵」的传统。

该基准源自无问芯穹积累的近百亿条真实运维数据。经过严格过滤、去重、脱敏三阶段精细标注，提炼出高质量、高保真的评测用例。每条用例均包含真实的问题现象与明确的故障根因。

关键区别在于：基准不提供根因，要求AI自行探索。

系统仅告知：「训练任务卡死，用户反馈如下，请复现并修复。」

智能体必须自主进入真实集群环境，自行发现线索、提出假设、验证并执行修复。整个过程必须确保安全、有效，绝不能导致机房崩溃。

这才是真正的「开卷实操考」——它考察的是：
1. 长链路多跳推理能力
2. 与真实物理设备的交互能力
3. 在不确定性中做决策的勇气
4. 最关键的安全边界意识

为确保考试公平且可重复，AISHPerf配套了 AIops-Chaos混沌工程项目。

该工程通过软件层精准模拟GPU掉卡、显存错误、NVLink故障、网络分区等真实硬件异常，无需物理损坏硬件即可构造高保真测试环境。仅需一台GPU+多轨RoCE NIC服务器，即可实现分钟级故障编排与自动化恢复验证。

这套评测框架（AIops-Eval）包含 User、Agent、Env、Evaluator、Tracing五大核心模块，完整记录智能体每一步轨迹，支持自定义规则与LLM-as-Judge双重评测。

它不再关心模型「知道多少」，只关心它在真实世界中，能否把事情做成。

全军覆没的铁证：硬件世界面前，AI的真实表现

为确立行业基线，信通院利用该基准对基于ReAct架构的简单智能体进行了全面测试。

测试对象涵盖Claude-4-sonnet等主流模型。为确保公平，智能体仅使用Shell工具，禁止联网搜索；模型均做匿名处理。

结果令人震撼：所有模型总得分均低于50分。

即使是最强的旗舰模型，在中等与困难难度任务上的正确率也普遍低于50%。

面对困难问题，工具调用时间占比显著上升，但正确率反而下降。

这表明模型在复杂场景下，无法精准有效地采集和利用信息。

更耐人寻味的是不同技术栈的表现差异：

• 模型在单纯的代码类Bug上表现相对较好；
• 一旦涉及硬件故障（GPU掉卡、显存错误、网络分区等），正确率普遍偏低，而Token消耗却明显更高。

模型似乎对硬件世界缺乏足够信心，不得不反复思考、反复确认。

这背后暴露出三种典型的失败模式：

1. 处理任务稳定性不足：生成不符合工具调用规则的Token。
2. 推理链质量差：给出看似合理实则治标不治本的方案；或仅输出宽泛排障思路，未经严谨验证便下结论。
3. 决策与执行不够安全：在真实环境中执行高风险操作，或执行危险操作导致物理环境崩溃，最终需人类运维人员紧急介入。

这些失败并非因为模型「不够聪明」，而是它尚未真正学会如何在物理世界中负责任地行动。

模型与人类：不是替代，而是正交

测试轨迹分析揭示了一个更深刻的洞察：

当前大模型与人类运维专家的技能，可能是高度正交的。

• 模型擅长：广度知识检索、代码逻辑推理、快速假设生成。
• 人类专家擅长：硬件层面的直觉判断、复杂系统边界把控、最终安全决策。

这意味着，未来最优的运维系统，或许不是让智能体完全替代人类，而是构建一种 「模型负责快速广度探索 + 规则与人类专家负责深度验证与安全把关」的混合智能体范式。

AISHPerf-智算运维智能体评测基准的意义，在于它第一次将这道鸿沟量化、可视化、公开化。

它用真实数据和真实环境告诉整个行业：
* 我们距离「系统自己解决问题」还有多远？
* 为这条路上的每一步改进，提供了可对齐的公共基线。

此外，该基准特别覆盖了 天数、壁仞、沐曦、摩尔、昇腾五种国产芯片。

在国产智算集群建设如火如荼的当下，填补国产智算运维评测领域的空白，本身就是对产业升级最务实的支撑。

从「Token工厂」到「自愈工厂」，我们正在丈量未来

过去一年，AI的发展令人目眩神迷。

从大模型到智能体，从训练到推理，行业已形成共识：技术发展的瓶颈早已不再局限于模型层，底层算力基础设施同样是决定产业上限的关键要素。

AI系统本质上已演变成一座「Token工厂」：
* 模型是生产逻辑
* 数据是原材料
* GPU集群是生产设备

工厂的最终产出，是一个个有价值的Token。

但当我们下沉至机房底层，会发现一个更现实的问题：这座工厂远没有想象中那么高效。

AISHPerf-智算运维智能体评测基准，让「系统自己解决问题」这件事，第一次变得可衡量、可对齐、可迭代。

这或许是人类写给机器的、最浪漫的一行代码。

凌晨三点，机房依旧亮着灯。

只是终有一天，守夜的，不再只有人类。

开源地址：
https://gitee.com/aishperf-caict/aishperf_openness

配套故障模拟器：
https://gitee.com/aishperf-caict/aishperf_openness/tree/main/entities/aiops-chaos

运维数据集：
https://gitee.com/aishperf-caict/aishperf_openness/blob/main/entities/datasets/aiops-eval-prompts.jsonl

评测框架：
https://gitee.com/aishperf-caict/aishperf_openness/tree/main/suites/aiops-eval

(责任编辑：百科)