与去年百模大战、靠算力堆出通用大模型不同，今年的大模型产业落地，要靠业务跑出来。

文｜赵艳秋 徐鑫

编｜牛慧

今年是大模型产业落地元年。从年初到现在，客户对大模型的预期越来越高，要求解决更多的业务场景问题。

在这个过程中，智能体正在爆发——越来越多的客户希望自身应用，能向下一代智能体（Agent）的方向演进。

简单说，如果将大模型比作大脑，智能体就像是大脑的手脚和四肢。它能拆解客户复杂的需求，调用工作流和工具，成为一个真正的业务小助手。由于它的门槛足够低，可以让更多人入门。而今天大多数AI原生应用，几乎都能用智能体搭建。

业界所有大模型公司和生态企业都在做智能体。这也意味着，大模型落地已进入“必卷智能体”的阶段。

在7月30日于上海举办的2024京东云峰会上，京东正式发布言犀智能体平台，它是一站式智能体开发平台。京东云判断，智能体、数字人、具身智能是未来大模型与终端用户的核心交互介质。其中，智能体更偏云端，是企业AI原生应用的重要推手。

实际上，京东云此次发布了包括言犀智能体平台在内的、支持大模型落地的全栈产品，加速大模型全场景落地。

“通用大模型靠算力堆出来，企业大模型则靠业务跑出来。”京东技术委员会主席、京东云事业部总裁曹鹏在云峰会上说。通过日臻完善的产品和工具平台体系，大模型才能与产业结合，发挥最大潜力。

数智前线获悉，京东云大模型全栈产品是在京东供应链这一超级孵化器中孵化而来。目前，在京东内部已有超过100个大模型的应用，支撑了超过60万员工和20万的商家的应用。

01

“一线对智能体的热情令我惊讶”

京东相关负责人表示，在实践中感受到，智能体是今年大模型落地中，应用效果最好的工具平台之一。

京东发布的言犀智能体平台，实际上是一个“内生外化”的产品。它从去年10月开始研发，今年春季在京东和一些生态链企业开放使用，仅仅几个月时间里，员工就搭建了3300多个智能体。“让我们惊讶。”该负责人说。同时，平台上也形成了上千个工作流、知识库，受欢迎程度，超出预期。

“这可能与京东业务人员多，链条又足够长有关。”一个有趣的现象是，过去一些年，京东在核心的零售供应链，投入了大量AI算法团队。而这次大模型的变革，却为那些过去没有被AI影响到的群体，带来颠覆性的变化。一线业务、职能、产品经理等都结合自己的工作，创建Agent。

比如，有人搭建了长视频剪辑Agent。因为京东内部有大量培训视频要剪辑，过去大家要手动去找到相应部分，再用剪辑软件去剪，一周只能剪几个。现在这个视频剪辑助手，只要上传视频和要求，就可以利用大模型多模态能力，找到对应的帧，员工再去剪辑，一周可以完成上百个。

另一个智能小哥助手，为快递小哥做路径规划、智能提示，解放他们的双手；在京东的智能体市场上，有大量活跃的Agent。有电话营销质检智能体，已产生百万级访问量，替代人工做营销电话的审核与校验……此外，京东有超60万员工，还有大量通用场景智能体，如报销类、学习类。

由于针对大量一线员工使用，言犀智能体平台支持了零代码开发，让没有算法背景的员工，也能通过可视化、拖拽方式来搭建智能体。“智能体平台就是让每一份AI灵感都能快速落地。”京东相关负责人对此深有体会。

智能体给组织协作也带来了改变。之前一些业务部门协同时，要找对方拉会，需要开发还要制定排期。现在大家自发把各自的工具和API注册到智能体平台上，实现了底层能力的链接，其他部门员工可直接调用，协作也变得不一样。

在经历内部锤炼后，言犀智能体平台对外开放。在商业模式上，提供公有云和私有化部署。

市场上已推出的智能体平台，不少侧重在个人开发者，但言犀智能体平台更针对行业。它在内部孵化时，获得京东零售、健康、物流各板块的广泛使用，沉淀了相应的行业解决方案。这次发布中，言犀智能体平台预置了相关配置模版和插件，以及100多种行业解决方案，客户用1分钟即可构建专属智能体。

针对企业如何用好智能体，京东相关负责人建议，尤其要注意两方面：一是要持续挖掘爆款，打造标杆。比如，京东每周会根据数据，选拔智能体在官方市场上架，吸引更多人使用。“黑客马拉松则再将其推高一个档次，一浪高过一浪。”

另一则与平台运营相关。如何支撑成千上万员工的应用？一方面要建立有企业特色的类目体系，将成千上万的智能体分好类，方便大家查找；另一是及时沉淀成熟解决方案，用户可以直接使用。

智能体做出的AI原生应用，给企业软件市场也带来变化。一些智能体直接替代了原有企业的SaaS软件，一些则嵌入到SaaS系统中去。言犀智能体平台也提供了简单的应用发布环节，企业可将搭建的智能体通过Web、API等方式，发布到内部IM，如企业微信及协同办公渠道。

业界看到，Agent目前仍然处于非常初级的阶段，未来会产生更多意想不到的Agent能力，这有赖于长千上万的企业应用者。他们使用的过程，将是AI Agent进化的过程。

02

智能体背后，大模型的锻造流水线

言犀智能体平台目前已接入数十个大模型。而这些模型，由言犀AI开发计算平台输送而来。在上海云峰会期间，言犀AI开发计算平台全面升级到2.0，并根据大模型落地关键点，突出了其中的关键能力。

第一个能力是模型压缩+模型拉升。从去年底开始，各家企业的主要精力，都是根据客户的使用场景，在基础大模型上裁剪、拉升出各种小模型。曹鹏介绍，这是因为即便经历了军备竞赛式的投入，通用大模型到了真正的场景里，“仍差了那薄薄的一层纸，需要专门调优”。而且不少场景要求模型反应速度要快，推理成本要低，小模型的市场反而更大。

目前，企业一般是采用一个模型群组，来实现不同场景的应用。这些模型群组，需要对通用大模型进行萃取压缩，以及灌注企业知识进行放大而来。在言犀AI开发计算平台上，用户可通过零代码方式，通过这样的推和拉，能快速获取到一个企业的专业模型。同时，推理的成本降低100%，速度提升1.5倍。

“目前业界通常分两步走——压缩和垂域模型微调。”京东人工智能业务部相关负责人说，但言犀AI开发计算平台可在压缩的过程中，将垂域知识灌注进去。这也是京东广泛采纳的一个方案。

第二个能力是数据准备。每个行业都有大量数据，包括多模态数据。这需要工具链具备极强的处理能力。

同时，过程数据的缺失，是业界落地大模型中，遇到的最大障碍。“比如我们看到一个症状，以及专家的处置建议，但并不知道专家的推理逻辑是什么。”京东健康相关负责人告诉数智前线，如果没有推理逻辑，就解决不了幻觉问题。

“我们今天花了很大力气，通过专家和大模型去补充。”一种是通过RAG的方式，这是当下业界必不可少的技术，给模型文献资料，让它自动化地捕捉推理链路；另一种通过专家来补充。工具平台能不能帮专家团队提效，也是业界在拼的技术关键。

此外，大模型合成数据非常火爆。“如何在垂域合成数据，与种子数据比较贴近，团队也做了深入工作。”京东人工智能业务部相关负责人说。

第三个能力是模型评估。它包括通用能力评估以及垂域能力评估。针对通用大模型评测，市场上有一些不错的榜单，公开了代码和评测数据集，可以自动评测，直接出分。“要先保通用能力。如果没有通用能力，就没有垂域。”

至于垂域评测，京东在健康、零售等有评测数据集，用户在调完模型后，也能再评测垂域。这也是自动化的。当然，也有一些人工评测，比如健康场景中人更懂业务，平台也提供类似众包的方式，让大家参与评测。

在产业之中，构建一个评测系统非常关键。“与其说怎么训练好一个垂域模型，不如有一个评测体系能告诉你，模型该往哪个方向去进步，这件事情尤其重要。”除了工具平台外，京东也搭建了评测团队，“这是我们的幕后英雄”。

03

AI大底座，加速大模型全场景落地

伴随着大模型及智能体应用到产业一线，业界发现，计算、网络、存储等底层基础设施也需要适应新局面，解决新挑战。

最典型的一点，当下产业端的大模型应用实践，要打造更开放的基础设施平台，比如支持多云、多芯、多活，能够承接多种模型，从而满足复杂的应用场景和业务需求。

目前，多模态大模型的打造，需要的算力是之前的10倍甚至百倍。全球企业都有一个特点，基于异构算力，来完成模型的训练、调用和推理，解决普遍面临的算力紧缺并提升性价比。

除了计算，在存储方面，模型训练高峰时段可能在数十秒内就要处理 TB 级别的数据存储，而传统应用中，这些海量小文件的处理任务，可分散在几个月时间跨度里完成。这使得存储产品必须朝向更高吞吐、更高IOPS、更高带宽和更低延时进化。“同样的GPU算力规模下，存储性能的高低，可能带来模型训练周期3倍的差异。”曹鹏在演讲中提到。

在Scaling law之下，超大规模集群对硬件间的网络效率提出挑战。不久前，马斯克高调披露已建成10万卡H100超级算力中心，业界对背后的网络架构——英伟达Spectrum-X也极为关注。毕竟，稳健、低延迟的网络关乎到集群里的计算资源能否被充分利用。

这些动向都表明，基础设施关乎大模型的落地进程。而在这场系统战面前，厂商们需要构建更强大的AI底座，才能加速大模型在全场景落地。

京东云峰会上，披露了京东云AI底座的最近演进。如在高性能的存力方面，作为京东云自主研发的新一代存储产品云海，历经了10余年京东自身复杂场景历练，能提供大模型超大量数据传输所需的极致性能。

峰会上，全面升级到3.0版本的京东云云海，在吞吐、带宽、延时等性能上进一步提升，为大模型全面落地提供了更坚实的支撑。云海也与所有主流国产化平台兼容互认。

据了解，目前京东云云海在建设银行等重量级金融机构中大模型训练中，提供了底层数据存储的支撑。同时在上层应用上，也通过数据要素的合作，帮助这些企业去做线上数字化转型。

在算力层面，京东打造了云舰AI算力云平台。它具备了对多元异构算力资源的统一管理和调度能力，包括各类CPU、GPU和国产化AI加速芯片，支持多地域分布式算力的统一调度，提供高性价比的算力供给。

另外，vGPU池化方案，通过GPU异构资源池化，能将AI算力利用率提升70%，可有效降低算力成本。行业普遍存在算力焦虑，这也是京东云提供的一种解法。

此外，京东云大模型安全可信平台，涵盖超过200种特有的红蓝对抗攻击手法，覆盖监管合规要求的全部31类风险类型，风险分析准确率高达95%以上。

针对大模型企业今年以来的价格战，曹鹏提到，去年京东云峰会就提过要通过技术升级来降低成本，要全网比价，对标主流云厂商的最低成交价再低10%。目前，京东云有超过100个产品规格通过比价售卖，并设立10亿比价金，把技术带来的红利回馈给开发者群体。

总体而言，在2024京东云峰会中，京东通过发布从基础设施、模型服务，再到智能体应用的全栈产品，正加速与产业的融合，从而让更多企业的大模型落地，通过业务跑出来。