有灵众包平台:大模型时代智能数据标注解决方案

发布:2023-06-07 11:04:54
阅读:17330
作者:网络整理
分享:复制链接

5月26日,网易伏羲有灵众包平台在中国国际大数据产业博览会上亮相。该平台是网易伏羲自研的人机协作线上任务平台,是目前市面上唯一支持实时人机交互标注方式的众包平台。伏羲有灵众包平台致力于为各行业解决劳动力短缺问题,为全社会提供更多便捷、有趣的线上就业岗位。任何企业客户均可通过平台快速建模并发布任务,每个零工用户均可不受时间、地域的限制,自由领取任务。

中国国际大数据产业博览会

当今时代,人工智能技术正在改变着人类的生活和工作方式。随着大语言模型、多模态大模型等人工智能技术的迅猛发展,数据标注这一领域正迎来着一个蓬勃发展的新时代,无数的数据从各个领域不断涌来。然而,在这波澜壮阔的大潮中,无论是需求方还是提供方都将面临艰巨的挑战:如何高效率地提供高质量、低成本的数据支撑,这不仅关系到人工智能技术的精度和实用性,也关乎整个行业的发展前景。

 

为了顺应大数据时代的趋势,人工智能相关的企业纷纷开始建立数据训练师的培训、管理体系,并且不断进行技术创新和提高数据质量。然而随着劳动力成本的上升,越来越多的组织开始寻找更加高效和经济的数据标注方式。基于HITL(Human-in-the-Loop)的思路,网易伏羲有灵众包平台应用而生。

 

人机协作思路为数据标注行业注入新的活力

 

在本届数据博会上,伏羲有灵众包平台向观众们展现了它独特的能力优势:平台融合人类的智力和决策力,与机器学习的计算能力相结合,实现了高质量的数据标注。它通过细致而严谨的标注流程和科学的评分系统,维护了数据的准确性和可靠性。在降本增效、缩短标注周期、保证质量等方面都有着前沿的技术举措。

伏羲有灵众包平台

数据闭环

 

标注员在平台上完成数据标注后,平台支持数据标注结果实时回流模型训练,任务发布方可以评估模型训练前后的对比效果,感受数据标注结果对模型的优化提升,并实现模型自动更新。同时更新后模型可辅助后续的数据标注任务,进一步提高数据标注的质量和效率。

 

数据全检

 

平台支持自动质检全量任务数据,任务发布方可以灵活配置质检流程,平台将结合用户历史做任务水平及用户画像,进行任务质检,同时引入模型参与质检,实现AI与人同时参与质量把控,最终实现任务高准确率交付。

 

用户画像

 

平台拥有完整的用户画像和任务匹配机制,基于用户过往做任务成绩并结合用户个人标签数据,实现根据不同任务类型的多样化需求进行匹配,将任务分配给最擅长的人来做,从而满足数据标注任务的质量、效率和成本要求。

 

群体智能

 

平台将基于用户画像定位多元化的标注员,引入冗余标注的形式,通过区间估计和真值推断等算法方式,实现他们共同参与标注决策并获得最终标注结果,确保最终结果的客观性和准确性。

伏羲有灵众包平台参加数博会

据平台负责人介绍:当前平台上以认知类工作内容为主,来源于AIGC等人工智能技术对文本、图片、语音等多模态数据的采集和标注需求;随着5G等通讯技术的广泛应用,平台未来会更多的承接远程操控等决策类任务,基于数字孪生技术将线下工作数字化线上化,让用户在数字孪生环境中游戏化做任务,快乐工作。

 

网易伏羲有灵平台通过AI技术和人工标注,确保数据标注的质量和准确性,提升数据标注效率。它不仅为企业提供了可靠高效地数据服务,并为AI技术蓬勃发展做出了贡献。

 

有灵众包平台助力AI技术蓬勃发展

 

展会同期,网易伏羲实验室吴润泽博士也围绕《网易伏羲数据众包赋能大模型应用实践》的主题展开了分享。

《网易伏羲数据众包赋能大模型应用实践》

吴博士表示:网易伏羲从2019年开始深耕大模型技术,以文本预训练和多模态预训练为主要切入点,依托数据众包平台提供高质量数据反馈闭环,攻克了统一表征构建、分布式对象存储、大规模向量引擎等关键技术挑战,入选浙江省“尖兵项目”获得官方认可资助,成功孵化了丹青约美术平台以及游戏智能NPC等两大游戏垂域落地产品。

 

目前,伏羲有灵众包平台已在网易集团内部多个产品及场景中应用实践:在《逆水寒》手游的开放世界中,情感细腻、反应灵敏、动作真实、表情丰富的智能NPC深受玩家的喜爱。而智能NPC的背后需要海量的优质Human Feedback数据作支撑。

 

网易伏羲有灵众包为游戏中的智能NPC模型提供涉及语音采集、文本标注、情感判断、图片标注等多数据服务,最终支持创造出文字、语音、表情动作等多维度智能化的游戏NPC。这是网易在游戏引擎及AI领域积累深度融合,解决大规模算力数据及预训练模型闭环问题。

 

目前,网易伏羲有灵众包平台已处理了上亿级数据量,在保证游戏AI性能同时,更加高效地收集游戏玩家反馈,并进一步提升AI性能,从而将技术应用在更多元场景之中。网易伏羲将本着开放、合作、共赢的理念,邀请产业链上、下游的合作伙伴,共同打造全新的AI+数字化新时代。

扫码进群
微信群
免费体验AI服务