克雷西 发自 凹非寺 | 量子位 公众号 QbitAI

AI基础设施的量也核心使命，正从单纯支撑大模型推理，脑浪转向支撑海量智能体（Agent）的潮信规模化运行与高质量Token的持续生产。

据IDC数据，息边2025年中国AI Agent企业级市场规模预计达190亿元，单柜答题2025至2028年复合增长率将超过110%。养万Gartner的模型判断更为激进：到2026年，40%的组队企业应用将集成任务型AI Agent。

在大模型推理阶段，量也基础设施仅需处理“一次输入、脑浪一次输出”。潮信

然而进入Agent时代，息边基础设施需支撑任务拆解、单柜答题工具调用、养万多轮协作及持续运行，模型这对算力架构提出了截然不同的要求。

这背后折射出两大能力缺口：一是海量Agent能否规模化、稳定运行；二是多模型能否协同工作，提升Agent的智能水平。

在2026开放计算大会上，浪潮信息针对这两大缺口，分别推出了全新的产品解决方案。

Agent时代，基础设施面临新挑战

Agent的普及，对AI基础设施提出了全新要求。

过去，企业部署AI多为接入一两个模型，处理独立任务，调用即返回，流程相对简单。

但Agent的逻辑完全不同。

一个Agent应用需先拆解任务，逐步调用工具，进行多轮协作，背后可能同时运转着一整群Sub-Agent（子智能体）。

在企业级部署中，Agent数量可能高达成千上万。

如何让如此大规模的Agent群体稳定、高效地协同工作，成为亟待解决的新难题。

除了Agent数量的激增，单一模型的压力也在加剧。

不同模型存在能力偏科：有的擅长逻辑推理，有的擅长文本生成。这种差异无法仅靠堆砌参数量来解决。

然而，实际业务场景日益复杂，很难指望单一模型具备全能。

因此，如何实现多模型分工协作、优势互补，成为另一个关键痛点。

这两大问题的落地，均依赖于底层算力基础设施的突破。

随着新需求的到来，基础设施的首要变化是CPU权重的显著提升。

在传统问答模式下，大模型推理主要依赖GPU。

但在Agent场景中，任务拆解、工具调用、多轮协作及结果汇总等涉及大量整型运算和逻辑推理，主要运行在CPU上。

此外，Agent并非“跑完即止”，许多Agent需常年在线，运行周期大幅延长。

因此，AI基础设施的算力配比正从“以GPU为中心”向“多元算力协同”转变。

CPU地位上升后，功率密度问题随之凸显。

浪潮信息副总经理赵帅指出，国内AI机柜功率年内将突破300千瓦，全球部分机柜已进入兆瓦级。

若CPU侧仍维持单柜几千瓦的密度，将无法匹配数据中心全新的电力基础设施。

随着机柜功率攀升，散热成为瓶颈。传统风冷单机柜40-50千瓦的散热上限已难以承受，液冷方案成为必然选择。

单柜运行4万+ Agent：CPU原生液冷整机柜

为实现Agent的规模化运行，浪潮信息发布了业界首款CPU原生液冷整机柜服务器。

该服务器单柜最大支持384颗基于开放OCM（Open Compute Module）架构的CPU处理器，兼容x86和ARM架构，可支撑4万+个Agent协同运行。

△浪潮信息副总经理 赵帅

这一规模是浪潮信息今年4月发布的“企千虾”方案的40倍。

此前，“企千虾”方案通过单台2U服务器部署1000个OpenClaw；此次，浪潮信息直接将Agent部署密度提升至整个机柜。

该机柜采用的OCM架构，兼容不同代际、不同架构的处理器，无需为每一代新芯片重新设计系统，大幅压缩了研发周期。

要在单柜内集成384颗CPU，散热是最大挑战。

浪潮信息提出了“原生液冷”的全新理念，彻底颠覆传统风液混合散热逻辑。

传统冷板液冷仅覆盖计算部件，内存、网卡、硬盘等仍需依赖风扇散热。

此次方案实现计算与散热的协同设计，突破传统液冷仅覆盖CPU的局限，将内存、网卡、光模块、SSD等所有发热部件纳入统一液冷体系，重构整个算力系统。

具体而言，浪潮信息将算力单元设计为2U超薄形态，每个节点集成16颗CPU。

内存、网卡、光模块等原本依赖风扇和线缆散热的部件，直接平铺于主板，由一整块冷板统一散热，并取消服务器托架。

此举腾出了原本被风扇、冷管、线缆占用的空间，用于增加计算和IO资源。

整机柜实现无线缆设计，支持热插拔维护，保障业务零中断，整机柜运维效率提升100%以上。

多模型协同：让Agent更聪明

为提升Agent智能水平，浪潮信息在元脑企智EPAI平台上线了多模融合API，并同步发布元脑SD200超节点AI服务器企业版。

多模融合机制的核心在于：将同一任务同时分发给多个候选模型，各自独立生成答案，再由一个评审融合模型对比共识、分歧、遗漏及独特观点，最终整合出统一输出。

该机制并非适用于所有任务。对于简单问答、工具调用、格式转换等短任务，系统直接路由至轻量级单模型处理。

仅针对复杂的长链路任务，系统才调度多模型协同，避免资源浪费。

在DRACO测试中，该机制取得53.9%的成绩，高于同一测试池中任何单一模型的表现。

目前，该能力以多模融合API形式对外开放，既可直接接入应用，也可配置至智能体和开发框架，沿用原有的对话、推理和工具调用流程。

然而，多模型协同对底层算力提出了更高要求：既要容纳多个万亿参数模型，又不能牺牲输出速度。

这正是元脑SD200超节点的核心优势。

元脑SD200超节点去年发布时，即可同时部署4个万亿参数大模型，Token生成时间达8.9毫秒，是国内首个突破10毫秒大关的产品。

今年，该指标进一步压缩至4.77毫秒，成为国内首个跑进5毫秒的方案，首Token延迟降低35%。

这些性能提升得益于多Token预测、W4A8精度方案及JIT即时编译等软硬协同优化：

• 多Token预测：解码阶段一次性生成多个候选Token并校验，减少逐字生成的轮次。
• W4A8精度：将万亿参数模型中MoE模块的计算精度从BF16降至INT8，降低访存带宽压力。
• JIT即时编译：运行时根据张量形状动态生成专用GPU内核，使算力更贴合硬件特性。

目前，元脑SD200超节点已完成对Kimi K2.6、DeepSeek V4、GLM 5.2、MiniMax M3等主流开源模型的适配。

鉴于该架构对中小企业门槛较高，浪潮信息还推出了元脑SD200超节点企业版，可视为“缩小版”SD200。

该版本将Scale Up计算域从64卡缩减至16卡，万亿参数模型的首Token延迟降低40%以上，为企业提供了更低迁移和适配成本的选择。

这使得原本仅能部署千亿模型的企业，也能将万亿参数模型真正应用于生产环境。

Agent基础设施：竞争格局生变

如今，CPU、GPU与软件平台三者的分工日益紧密：

• 软件平台：负责模型接入、任务编排、资源调度、权限治理及结果融合。
• CPU：承载Agent实例、工具调用、沙箱运行及业务系统交互。
• GPU：负责模型推理与Token生成。

三者协同，方能支撑海量Agent的稳定运行与复杂任务的高效执行。

链路中任何一环掉队，都将影响整体Agent应用的流畅度。

这也导致Agent时代基础设施的竞争重点发生转移：

过去比拼的是对单一模型的支持能力，现在比拼的是系统级协同能力。

单点优势已不足够，整条链路的顺畅度与协同性才是关键。

这正是浪潮信息此次在Agent基础设施领域给出的核心答案。

(责任编辑：时尚)