9月19日,第九届华为全联接大会(HUAWEI CONNECT 2024)在上海盛大开幕。华为全联接大会是面向全行业的盛会,旨在打造开放、合作、共享的平台,与业界共同推动产业发展,构筑开放共赢的健康生态。本届大会以“共赢行业智能化”为主题,具体包括鲲鹏、昇腾算力底座、鸿蒙原生开发生态、AI应用落地等内容。
大会汇聚了全球思想领袖、商业精英、技术专家、合作伙伴及开发者,共同探讨智能化、数字化技术如何赋能各行各业,把握新机遇,共赢智能未来。网易伏羲受邀参与此次大会,并在多场论坛中分享自身在数字化技术领域的创新成果和实践案例。
作为国内领先的人工智能研究机构,网易伏羲在数字化技术领域展开了深入探索和持续实践,无论是前沿技术的研发探索,还是AI技术的实际应用,网易伏羲始终走在行业创新前线。发展至今,网易伏羲累计发表了200余篇顶会论文,拥有600余项专利技术,在游戏及实体领域推出了多项AI创新应用,展现了强大的技术实力和创新能力,为推动数字化技术的发展贡献了不可或缺的力量。
一、丹青约——AI赋能游戏应用实践
大会首日,网易伏羲丹青约平台AI架构师重午受邀出席华为全联接大会2024华为云游戏行业CXO圆桌论坛,并发表题为《网易伏羲丹青约:AI赋能游戏应用实践》的主题演讲。
重午指出,网易伏羲在大规模模型研究领域已有近六年的深厚积累,打造了数十个文本和多模态预训练模型。其中,“丹青”大模型作为100%自研的中文生图通用大模型,依托于网易伏羲自建的多模态统一表征向量数据库,并结合“易生诸相-玉知”多模态理解能力,经过全方位优化升级,具备出色的中文语境理解和审美水平。该模型不仅支持中文口语化输入,还可以通过用户持续的正向反馈不断优化迭代。
重午详细介绍了基于“丹青”大模型推出的专为图文领域设计的多模态智能体助手“丹青约”。凭借自研多模态大模型、图文处理技能与多轮交互引擎等核心技术,丹青约能够为用户提供图文并茂的多模交互体验,满足用户生成式图片创作、AI修图等多元需求。
重午强调,丹青约平台在游戏美术领域积累了丰富的实践经验,利用AI技术在游戏美术领域的创新应用,不仅显著提升了美术品质和内容丰富度,还成功将中国传统文化元素融入现代游戏设计中,激发了新的创意活力。
在近期上线的《新倩女幽魂》x《道诡异仙》联动宣传片中,游戏研发项目组联合网易伏羲和雷火艺术中心3D扫描实验室,共建多条艺术风格化管线。通过丹青约平台,创作出更高艺术质量、还原原著设定、丰富充实的游戏场景资产,助力打造千姿百态的3D水墨修仙大世界。通过美学与文化的深度交融,为玩家提供了全新的体验。
此外,重午还特别提到了网易伏羲与华为云的紧密合作,华为云强大的云端算力支持,为平台的高效运行提供了坚实的保障。
二、AI x 游戏——可实时语音交互的游戏队友
在大会第二天的AI Native Cloud论坛上,网易伏羲语音技术负责人莫名带来了《AI x 游戏:可实时语音交互的游戏队友》主题分享。
莫名详细介绍了网易伏羲助力《永劫无间》手游打造的全球首创语音AI队友玩法。该玩法集成了语音识别、语义理解、人设对话大模型、语音生成、强化学习、模仿学习等多项智能体能力,赋予AI队友以“感知”战场情况、“认知”玩家意图、“决策”战斗策略、并采取“行动”的能力。
值得一提的是,在这个玩法中,无需语音唤醒,AI队友即可随时和玩家进行实时自由对话、共同战斗,享受流畅的多模态游戏交互体验。为实现玩家与AI队友间的丝滑语音交互,网易伏羲利用有灵AOP平台的多项工程技术,如模型量化、推理加速、逻辑优化等,将端到端交互响应时间控制在800毫秒以内,显著优于行业平均水平。
尽管无需唤醒的全开麦实时语音交流模式提升了用户体验,但也带来了环境噪音、不同设备兼容性、玩家方言差异以及专业术语等挑战。为解决这些问题,网易伏羲基于AOP框架构建了一个自主数据闭环训练模型,使Agent具备自主进化的能力。此外,通过大数据训练生成式基础大模型,并结合AOP平台,经过多轮迭代,实现了TTS音色和情感的可控性,进一步强化了游戏的沉浸式体验。
莫名补充道,上述AI能力均基于网易伏羲AOP框架打造,目前AOP框架已在多个案例中成功应用,例如在《逆水寒》手游中首创的文字捏脸玩法和在《永劫无间》手游中进一步升级的交互式捏脸玩法。莫名透露,网易伏羲AOP SDK将于近期开启首次内测,欢迎感兴趣的开发者参与测试。
分享的最后,莫名指出,网易伏羲与华为云联合创新,尝试将EMS内存存储应用在网易伏羲的多轮对话和公共前缀场景中,测试结果显示了AI算力在更大容量、更大吞吐、更低时延和更高效率方面的显著提升,真正体现了“以存强算”的潜力。
无论是通过丹青约平台AI技术提升游戏美术的品质与多样性,还是通过语音AI技术增强游戏的互动性和沉浸感,网易伏羲都在不断推动行业朝着更加智能化的方向前进,用实际行动诠释着“共赢行业智能化”的大会主题。面向未来,随着智能化技术的不断发展,网易伏羲将继续携手华为云等合作伙伴,共同探索AI技术如何更好地服务于人类社会,创造更加美好的未来。
扫码入群,参与AOP SDK内测
市场生态合作:fuxi.mkt@service.netease.com
商务合作:fuxi@service.netease.com
合作电话:(0571)89852163转21951