点击右上角微信好友
朋友圈
请使用浏览器分享功能进行分享
全球涌动的AI+数字人技术革新之下,数字人单纯的文字模态远远不够。快手在高精度、适用于多场景的传感器驱动多模态数字人系统应用过程中,典型的跨模态生成任务,需兼顾清晰度、计算效率、真实感、可控性等方面,已形成属性鲜明的应用方案。
在日前举办的2024首届中国数字人大会开幕式上,快手视觉生成与互动中心负责人万鹏飞针对“多模态数字人技术及产业应用”进行主题分享并提出观点。
万鹏飞指出,多模态数字人技术的核心在于其能够根据不同的输入形式,如传感器、文本/音频、视频等,实现多样化的驱动形式。这种技术的实现,一方面提升效果的上限,也增加了技术实现难度,另一方面推动了快手在数字人采集建模、绑定、动捕驱动、大模型生成互动、交互渲染等技术领域的全面进步。
“在商业化、本地生活、电商、招聘等多元场景中,数字人应用巨大潜力。”万鹏飞以快手官方虚拟主播“关小芳”为例,展示了身份型数字人的应用成果。通过整合ASR、VLM、LLM等多个自研大模型能力,“关小芳”已具备多模态感知、决策、生成能力,互动延时低于2秒且支持用户打断,极佳的性能表现和极低的推理时延,使快手平台吸引来超200万粉丝的关注。
“数字人技术在内容生产领域的应用已经达到新的高度”。据万鹏介绍,快手推出“快手智播”生成式数字人平台,支持超过1000种数字人形象的生成,通过用户提供的3分钟视频素材就能快速完成个性化定制。该平台融合了语音、图像及大模型等多种人工智能技术,提供了直播/离线视频制作、配套脚本生成、素材管理等能力。用户通过平台实现云端实时驱动快速开播,打造7×24小时不间断的直播间,极大地增强了用户的观看体验。既能降低内容生产的门槛,又能提高自主内容生产的效率。
“相比真人主播成本,快手生成式数字人每月投入不足真人的20%,支持万路以上直播间并发。降本优势带来“快手智播”平台服务的商家数量已破万,数字人直播及短视频日均消耗规模超过2000万。”万鹏飞表示,多模态数字人降低内容生产门槛提效经营,可见数字人技术广泛应用的未来之速。(光明网记者 王一涵)