以大模型为代表的新一代AIGC技术将在哪里落地？
我们相信，游戏将会拥有广阔的天地和应用前景。
MMO 游戏接入AI是一种尝试，《西部世界》的多萝西（Dolores）是一种梦想，《头号玩家》的绿洲（OASIS）是一种未来。
AIGC 时代，游戏厂商是怎样为创意插上 AI 的翅膀？
更好玩的游戏，更丰富的感官刺激是如何创造的？
量子位智库特地邀请了各类游戏行业的从业者及游戏技术领域的专家学者，向广大游戏玩家分享 AIGC 技术是怎么改变我们的游戏的，未来游戏会如何突破我们的想象力。
精彩观点
-
策略类或竞技类，AIGC技术对不同类型游戏的影响没有本质区别
-
AI的画再漂亮，和你想要的目标风格不一样，也是没办法进入游戏生产流程的
-
如果你一味地赢，你会觉得这个游戏没有挑战性……
-
游戏是一种交互式的内容形态，我希望未来大家不仅仅把它当成娱乐
访谈实录
1. 没有什么主流的 AI 游戏技术
量子位智库 ：实际的游戏研发过程中，存在哪方面的游戏元素最适合用 AI 来做，或者说使用 AI 的效率提升会最大吗？
尹学渊 ：我觉得目前2D 游戏美术使用 AI 的提升效率是最大的。其实就是 AI 绘画，现在应用的范围比较广、深度也还可以。可以说从全类型的游戏来讲， 2D 游戏美术的这种生产力的提升和成本的降低都算是非常明显的。
当然目前也有很多用大模型的方式去做智能NPC的尝试。这种尝试可能等到像元宇宙这样的开放世界玩法成熟之后，会带来很多改变，但目前为止在产业界，我认为还是处于一个非常非常早期的阶段，远没有到商业化应用的程度。
量子位智库：在不同类型的游戏里AI的效果会有不同表现吗？
尹学渊 ：不同的游戏对AI的需求是不同的，但对于AIGC来说，其实并没有明显的区别。
整个游戏的研发和制作还是一个相对来讲比较复杂的系统工程，绝对不是说我把某一个环节打通了之后，整个游戏研发就一下变了天一样，对吧？其实是很难的。
量子位智库 ：目前在 AI 美术里大家存在常用的采样方法吗？
尹学渊 ：这个没有。
你的意思是说扩散模型的采样方法现在可能差不多有接近二十种是吧？我觉得可能最主要还是几类。比如是经典的Euler；具有随机性的Euler a、DPM2 a 这带a的种祖先采样器；然后就是DPM及其变种，比如侧重速度的DPM++ 2M Karras或者侧重质量的DPM++ SDE Karras采样器；以及最新的UniPC这种新颖且质量不错的。可以根据不同的需求和优先考虑来选择不同的采样方法。
但其实在实际的生产过程中，样本、模型、提示词、参考图、ControlNet任何一个都对出图质量影响更大，而采样器的影响没有那么大，你用习惯了喜欢哪个就可以用哪个。
2. AI 美术的一致性、可控性和高精度
量子位智库 ：现在很多图片生成模型生成手方面效果比较差，图形扩展也有很大的问题。在 AI 美术的领域，这是共同攻克的问题，还是说我们针对游戏行业能有特殊方法？
尹学渊 ：所以说这些问题反而是我们的机会和卖点。如果说我们的产品跟 Midjourney 没有多大的区别，大家也不可能采购我们的产品和服务。
在我看来，像 Midjourney 这种它能解决一部分的问题。比如你在项目的立项阶段，或者在主美做创意的时候，那 AI 可以帮你去启发创意，帮你生成参考图，这个是它擅长的。但是它不太擅长美术风格的一致性、可控性和高精度。
受访者供图
而这是一个 AI 工具，它能否成为工具的一个非常大的区别点。
就比如您刚讲的，我希望它换什么地方，结果我想换的地方它没换，不让它换的地方它反而换了，这个就代表它不可控。不可控你就没办法成为一个真正的工具，因为我永远不知道我鼠标点下去他会出什么。
在 Midjourney 里面，有的时候它的画会非常漂亮，但再漂亮，和你想要的目标风格不一样，也是没办法进入生产流程的。
我再举个例子，就是我们在做 3D 建模之前，你要去做一个人物的正面、背面和侧面。那这三视图，如果你分别用 AI 工具去出，你就会发现有时候这三张图它甚至都不是同一个人。
那在这种情况下，我们围绕着游戏工业化的美术流程，去做一些专业的设计，反而能做到一致性和可控性。
最后就是高精度。现在我们能通过算法的优化，做到用 AI 去做16K的高精大图，才可以满足更多的场景。
量子位智库：刚才说这个可控性方面，我们会用一些“专业设计”，它具体是包含什么内容？
尹学渊 ：比如说我的游戏画风已经定下来了，角色和设定也定下来了，里边可能有几个角色：“小美”“小明”“小黄”。在任何一个场景、任何一个设定上只能出现这三个角色。我们的一键训练模型功能，支持上传素材，要画“小美”，就不会画成“小红”。
在真实的游戏工业里，小美可能会有一个“人设”，假设是“可爱”的那种，那她就不能穿太“性感”的衣服。在绘制的过程中就要沿着“可爱”的风格，而且这种风格不仅仅是可爱两个字就够了，游戏的画风是有很多的细节和讲究的，在这个情况下就一定要有自己的模型。
受访者供图
量子位智库：我现在要做一个CG，里面只有我的三个主角，我是通过什么方法去告诉我的工具的呢？
尹学渊 ：就是选模型，我们会有不同的模型给大家去用，而且很多时候是多个模型配合使用，不同的Diffusion底模配合上层的LoRA和VAE。
量子位智库：就像那种 Python 的库一样，已经给你集成了？
尹学渊 ：对，在我们这其实就是一个选项。你就是拖一下，就是这个地方我要“小美”，就好了。我们会提供训练模型，你可以自己在上面训练“小美”这个模型。
3. AI 音乐与游戏音乐的营销属性
量子位智库：对一个游戏来说音乐还是挺灵魂的一个部分，现在 AI 音乐可以根据这个游戏的内容、玩法独立制作出合适的配乐或主题曲吗？
尹学渊 ：现在 AI 音乐是完全能独立地去做主题曲的，但我们的输入可能和大家想象的有偏差。
我们不是通过类似文生图、图生图那种方式去生成音乐，是通过不同的参数和不同的输入去生成不同的音乐。
在实际的生产中，我们可以先选择风格，给一些引导词再结合画线来生成旋律，然后完成编曲和演唱。比如说我这个场景是一个带有科技感、赛博朋克的场景，我们会先用 AI 工具去生成BGM，生成完之后再配回来。
虽然说可以做图像分割和语义理解，但是AI目前其实还是很难非常好地理解游戏的内容和玩法到底是什么样的，中间需要我们的工程师或者策划，还是有人工操作的这一个过程。就好比AI绘画本质上来说也是人来确定要画什么画，其实是人在指导AI 画。AI生成音乐也一样。
目前我们真正服务的客户其实是营销类的偏多，游戏本身对AI 音乐的需求量不大。第一是像战斗的音乐、城市的音乐、在野外的音乐，主要是营造氛围感，氛围到了就够了，数量的需求量没有那么大；第二是音乐人和他们做的音乐对游戏本身来讲也是一个宣传点，有附加价值。
4. 为什么游戏里会遇到那样的 AI 队友？
量子位智库 ：AI 虚拟玩家生成和游戏当中的 NPC 生成是不是有一些相似的地方？
尹学渊 ：不太一样。虽然从字面意思来看，虚拟玩家也是Non-Player Character，但是我们定义的虚拟玩家和 NPC 从技术角度来讲，是完全不同的。
第一是场景，它们面对的是两个完全不同的应用场景；
第二是技术逻辑，它们是两套完全不同的技术逻辑。
比如说我们所指的虚拟玩家，更多意味着它是在扮演玩家，需要很多的操作。像行者 AI 的虚拟玩家，我们更多的是把它应用在对战场景，比如说在竞技游戏里边。
如果你一味地赢，你会觉得这个游戏没有挑战性；如果你一味地输，你就会挫败感非常强，就会觉得不好玩。
我们追求的是玩家能获得一个更好的体验，那就是他要么去扮演你的队友，要么扮演你的对手，让你觉得这一把玩得“欲罢不能”嘛。其实就是因为水平相当的时候，你才是玩得最爽的。
举个例子我们常看到的一些 MOBA 游戏里面，虚拟玩家更多时候是扮演你的队友或者是你的对手，从表现形式来讲，他是跟玩家完全是对等的。现在技术上也能完全做到游戏的操作和体验上对等。
而传统的游戏行业对NPC的定义实际上来讲它和玩家就不是绝对对等的。除非如果有一天我们真正能做到大家对 AI 的想象里的这种 AGI（通用人工智能），那它可能完全对等。
现在我们看到已经有厂商尝试将 基于大模型的AI NPC 放进 MMO RPG（游戏）里面的，这类应用场景更多是让 NPC 有一些自主的行为，玩家和 NPC 的互动也是一类新的玩法。未来想象空间也很大。
量子位智库 ：这两者在技术实现上有什么不同？
尹学渊 ：比如我们刚刚说到的这个竞技游戏的AI虚拟玩家，它更多的是基于深度强化学习，它的技术底栈，类似 Alpha Go 的，这样的技术底栈所使用的深度强化学习，它的重点是说这个其实还有很多玩游戏的 Action。
那像我们说基于大模型的智能 NPC，它更多的是在于交互。就是它是通过大语言的方式去给到这些 NPC一些人设、语言和交互。但至今为止仅基于大模型的这类 NPC，它们更多的是在交互上强化，让NPC和NPC之间、NPC和玩家之间产生一些关系，而并非对游戏的操作控制行为。基于大模型的NPC可能短期内还很难学会MOBA之类的强操作的游戏。
量子位智库 ：如果我们要为王者荣耀这样的竞技游戏去设计 AI 队友或对手，实际过程中是怎样开发的？会通过分析玩家数据再调整虚拟玩家行为这样的方法吗？
尹学渊 ：强化学习可以不依赖历史数据，举个例子，像MOBA、掼蛋、斗地主等各种各样的竞技类型游戏里，那实际上我们不太需要玩家的历史数据去训练，这里面其实整个算法的逻辑更多的是强化学习的原理。如果你有一些数据当然更好了，收敛会更快也能避免一些“不像人”的行为。
比如说我们训练一个 AI，我们就把它叫做一个 Agent，可以理解为说的就是那个 AI，这个 Agent 我们把它放在一个环境里面，环境其实就是我们的游戏。然后此时我们会怎么去训练这个AI？就我们去给它设定一些Reward，Reward 就是“奖励”。
假设我们拿王者荣耀来举例，如果这个 AI 它把对方的塔推掉了，就可以设定加100分；把对方的英雄打败了，设定加50分，他被打败就扣200分。诸如此类，通过在环境中不断地获取这些 Reward，最后 AI 它自己就会去迭代，它就其实就学习到了如何去玩这个游戏。大致就是就这么训练出来的。
一般来讲，我们可能更多地是去统计分析一些玩家的行为，然后去如何去设定这个 Reward，让它快速地去收敛。
从理论上来讲，其实我们只需要给这个 AI 设定两个条件，你把对方的塔和基地摧毁，你就赢了；当你的塔和基地被对方摧毁，你就输了。设定之后从理论上来讲，当计算规模无穷，时间等成本都无限的时候，我们可以训练到一个非常非常高的水平。但事实上这些成本都不可能无限，所以我们会分解这个任务目标，比如打败一个小兵加多少分，分解目标的目的就是为了提高收敛速度，快速把这个 AI 给训练出来。
大概强化学习是这个逻辑，大模型的Transformer + RLHF里的RL也是强化学习的缩写。
量子位智库 ：其实很多时候冷启动阶段，我们就要接入虚拟玩家，那个时候没有太多这个游戏的相关数据，我们会怎样选定什么是奖励？什么是惩罚？
尹学渊 ：从虚拟玩家这一部分来讲的话，它还是跟游戏的研发经验有关，某种意义上来讲，需要看你对这个游戏的理解和手感。在这个过程当中，就算你没有玩家的数据，实际上大家也能设计一些非常好的机制出来。
量子位智库：现在我们的这个虚拟玩家和普通玩家他在决策方面会有什么区别吗？
尹学渊 ：理论上来讲虚拟玩家做好了之后，它的决策就没有太大的区别。完成训练之后，它基本上是非常像人的，替代性还是挺高的，就是正常来讲训练到一定的程度，其实玩家是很难感受到你的对手是AI的。
量子位智库：目前投放进游戏里的虚拟玩家，当它和某一个玩家对战的时候作出了一个决策，这个决策是能够持续地反馈到我们这个训练当中吗？
尹学渊 ：目前从理论上来讲，是可以做一个实时收集反馈的，就相当于就玩家每次打对战都是在帮你做训练。但是实际上真正上线之后，业界的做法大都还是批量处理，有版本更新之后，通过收集一段时间的数据反馈，再来做一次模型的迭代。
量子位智库：在不同的游戏环境里，比如对 MOBA 或 RPG 游戏，我们要重新去训练虚拟玩家吗？
尹学渊 ：强化学习对它的 Reward 和环境的依赖其实是非常大的，每一个游戏其实它都是一个全新的环境，通用性实际不高。但是底层的一些东西是可以复用，只不过训练的这个过程肯定是重新开始的。
5. 公平公正的发牌员
量子位智库：我们在识别游戏里面不安全的内容，包括灰产之类的时候会用到什么样的识别方法？
尹学渊 ：都是我们自己做的一些神经网络的模型，不同的应用场景还是会稍微有一些不一样。
AI 安全我们分为两个大的模块，第一个模块是反灰产。
比如说有些灰产它会租很多的云手机，然后用脚本，在游戏里面去“薅羊毛”。我们研发了一些模型，对抗机器人、识别机器人，以拦住这些薅羊毛的。
那第二个模块是内容审核。
防止破坏游戏聊天生态，营造干净友好的游戏环境，我们也会有很多算法。不管是文本、语音、还是图片、视频，都支持审核。目前来讲 AI 技术在审核上已经完全达到人工的标准，我们识别率能做到非常高。
量子位智库 ：拓展一个小问题，就是像自走棋之类的游戏，它会有什么样的外挂或者脚本存在？
尹学渊 ：在自走棋一类的竞技游戏里，更多的还是存在违规言论。竞技游戏中外挂比集中在资源产出型。另外资源产出型外观在 SLG 和 MMO 里面也比较多，灰产会去用脚本去打怪，然后去囤资源、卖资源。竞技游戏一般是不存在这种囤资源的问题的，而更多是签到，比如建立很多小号，每天用脚本签到，做每日任务领奖，如果一个号养很长时间，比如 2 年，光签到就能领很多金币钻石等各种东西；其次就是聊天中打小广告。
量子位智库 ：所以说其实发牌员就是挺公平公正的？
尹学渊 ：对，那肯定是公平公正的。
其实 AI 就算陪你打，也是在靠技术而不是靠发牌员。比如，斗地主经常给玩家发 4 个2，玩家会明显觉得：“你作弊？”这种体验是很差的。
从实际商业化过程中，我们的合作伙伴和客户，现在的做法就是真随机。
可能有一些卡牌游戏里会存在保底概率，但竞技游戏里一般都会选择真随机。
6. 3D建模与西部世界那样的NPC
量子位智库：那您也是一个老游戏玩家了，除了之前谈到的，在游戏的其他元素里，还有没有您觉得说我们 AI 还可以去做的？
尹学渊 ：畅想一下未来，有两个大的方面。
第一个方面就是3D，现在大家用AI比较多的还是以 2D 的为主， 3D 我们能解决一部分的问题，但是现在还做不到像 2D 这么好的效果。
第二个我们刚刚说到的 AI NPC，它未来的空间还是非常大的，如果真正能够实现《西部世界》，对游戏的玩法来讲是颠覆性的。但目前全行业都需要突破这个问题，还达不到我们想象中的样子，现在还是处于一个非常早期的阶段。
量子位智库：那这两方面我们现在有没有什么布局？
尹学渊 ：我们一直有在做3D部分，但目前这是全世界的难题。我们现在能解决一些问题，像常见的一些场景角色、花草树木、道路、房子我们 AI 都能造了，但 AI 造出来这些东西，还达不到很高艺术标准和需求。很长时间内，应该都会是一半人工，可能一半智能。
量子位智库：您现在觉得这个 AI 技术对游戏开发，就刚刚我们聊到那些游戏开发整个环节的渗透率有没有超过50%？
尹学渊 ：目前为止完全没有。
我们这个上半年拜访了很多的游戏产业链上的客户。虽然很多公司都用AI，但是真正的进到工业化流程的这些公司并不多。我觉得还是有一段路要走。
但我个人还是比较乐观的。虽然这个过程需要一些时间，但这我觉得未来大家肯定会全面拥抱AI技术，确实有很多地方都可以降本增效。
量子位智库：确实好用。
尹学渊 ：对。
7. 游戏应该有更广阔的应用空间
量子位智库：最后关于游戏行业，您还有什么想和我们分享的吗？
尹学渊 ：我最后给大家分享一个点，就是为什么我要立志于去做游戏的全链条的生产力工具？
因为我有一个执念， 游戏过往的应用场景相对来讲是被低估了的。
过往几乎所有人都在拿游戏去做娱乐，但是游戏它作为一种交互式内容媒体形式，作为第九艺术，它有更广阔的应用空间。比如说老年人的陪伴、儿童的教育、抑郁症的治疗等，各种各样的功能性的需求，都可以通过游戏这种交互式内容形式去满足。
为什么过往的游戏商业模式很难触达这些更广阔的场景？核心还是因为游戏研发成本非常高的，它作为一种内容产品，成功率也很低。高成本低成功率，导致开发者都非常担心，不得不只瞄准这一个方向，去做好玩的游戏、商业化挣钱的游戏。
但是游戏，它是一种交互式的内容媒体，它的特点是“参与”，整个游戏内容、游戏进程、游戏中的其他角色，游戏的一切都是围绕游戏者及其所扮演的角色进行的，它能非常好地完成千人千面的体验，而不是单向的接收。
游戏是一个非常好的内容形态，我们应该把它发扬光大。路径就是降本增效。
所以这就是我的执念。
我们希望把这些工具做出来之后，让整个游戏服务更多的人，服务更多地这种这个场景，而不仅仅是玩。
本文来自微信公众号：量子位 （ID：QbitAI），嘉宾：尹学渊（博士，连续创业者，机器学习、人工智能领域专家，“行者AI”创办人，“龙渊网络”联合创办人）