您当前的位置:主页 > 区块链 >

快手AI技术副总裁郑文:AI技术该如何赋能短视频?

2019-04-28 19:24 来源:互联网 编辑:运营003
摘要: 
报道:光靠人工运营很难达到针对每个人的服务,需要通过人工智能技术,特别是近几年有所突破的深度学习技术来

  报道:光靠人工运营很难达到针对每个人的服务,需要通过人工智能技术,特别是近几年有所突破的深度学习技术来实现。

  “作为一个日活超过1.6亿的短视频APP,快手的使命是‘用科技提升每一个人独特的幸福感’。而光靠人工运营很难达到针对每个人的服务,需要通过人工智能技术,特别是近几年有所突破的深度学习技术来实现。”在清华大数据论坛上,快手AI技术副总裁郑文如此表示。

  据悉,目前快手是通过记录来提升幸福感的,这可以从两个方面来体现。首先,用户希望能看到更广阔的世界。第二,用户也有分享自己,被更广阔的世界看到的需求。

  不过这将面临一个挑战,现在快手累计拥有超过 80 亿条视频与数亿用户,在这两个海量的数字面前,如何有效分配注意力?过去,注意力一般会集中在所谓的“爆款视频”里,但在爆款视频之下,还有大量可能包含了非常丰富的信息、类别多样化的内容,这种“长尾视频”往往很难被别人注意到。如此,一些需求小众,或者兴趣比较细分的群体往往很难找到他们想要的内容。

  郑文说道,这个挑战决定了快手必须要依赖于深度学习为主的AI技术来解决该问题,代替人工实现内容匹配的分发。比如,快手希望通过 AI 技术使得记录更加丰富有趣,基于这个目标,其开发了大量多媒体和 AI 技术,如背景分割、天空分割、头发分割,人体关键点、人脸关键点、手势关键点检测等等,并将它们应用在魔法表情中。

  此外,为了将内容质量变得更高,快手还研发并应用了很多图像增强技术。例如,用户在光线很暗的环境下拍摄,产出的视频往往会丢失信息和细节,通过暗光增强技术,可以将这些细节恢复。

  据郑文介绍,快手近期在内容生产方面研发了一些具体的深度学习技术。比如,三维人脸技术能够针对单张人脸图像恢复出人脸的三维信息,一方面可以实现对人脸的一些修改,比如打光、做一些表情、实现三维变脸特效;另一方面,通过三维人脸信息,我们可以提取出人的表情变化,然后把表情迁移到虚拟的卡通形象上,效果类似于 iPhoneX 推出的 Animoji 功能,但 iPhoneX 有结构光摄像头,且运行 Animoji 需要很强大的算力,我们通过技术研发,在普通摄像头、配置较低的手机上也能实现类似功能。

  在音视频方面,快手还应用了很多智能算法,比如需要视频尽可能清晰,但同时也要求传输流畅,这就需要针对视频复杂度做一些自适应优化。另外,快手也会对图像进行分析,比如视频里面人脸的区域往往对大家的观感影响最大,就会把人脸的区域检测出来,将码率做得更高,使得整体观感获得很大的提升。

  “内容生产环节完成后,视频会被上传到后端服务器,这里我们需要对视频内容进行更深层次的理解。视频的内容理解会用在很多方面,比如内容安全、原创保护、推荐、搜索、广告等等,这里大概分为两个阶段。”郑文说道。

  首先是感知阶段,机器会从人脸、图像、音乐、语音四个维度对视频信息进行理解。

  人脸是一个很重要的维度,因为人脸往往包含了人所关心的最主要的部分,快手会对人脸区域进行检测,识别年龄、性别、表情等;另外一个维度是图像层面,其会对图像进行分类,如图像的场景是什么;此外也会检测图像中有哪些物体,还会进行图像质量评估,以及利用 OCR 技术从图像中提取文字;而音乐是影响视频感染力很重要的一部分,其可以从视频里识别出音乐类型,甚至可以对音乐进行结构化分析,分离伴奏和歌唱部分;在语音方面,快手会把语音识别出来转化成文字,也会通过语音去识别人物的身份、年龄、性别等等。

  第二个阶段是推理阶段,在操作上,快手会把这些不同维度的信息进行多模态融合,推理出更高层次的语音信息,或者对视频进行情感识别。其中也会用到知识图谱技术,把视频里的知识存储在知识图谱里表达出来。通过知识图谱的推理,能够得到一些更高层、更深入的信息。

  “在内容理解方面我们也做了一些比较具体的技术,如快手开发了一套视频标签系统,可以对视频里出现的大多数内容和场景进行分类。在快手语音识别功能模块,我们采用深度学习算法,结合上下文语境模块,使得识别精度得到很大提升。”郑文强调。

  一方面,需要理解视频内容,另一方面,也需要对用户进行理解,包含用户公开的年龄、性别等信息以及用户在实时使用快手时产生一些行为数据。这些数据都会传送到后端的深度学习模型里,训练出对用户理解的向量。通过这些向量,便可以预测用户的兴趣以及他与其他用户之间的关系。

[ 编辑: 运营BX01 ]

中国金融领域第一媒体

更多服务
友情链接

京ICP备11011451号-1

举报热线:(010)12377

举报邮箱:xinhua_ljzjr#ljzjr.cn(#替换@)

合作QQ:1447260813

中国金融时报网 版权所有 Copyright © 2010 - 2018 ljzjr.cn All Rights Reserved.