为了进一步提升快手直播的影响力，帮助用户快速消费直播中的精彩内容，快手MMU推出了一套自主研发的直播精彩片段智能拍摄解决方案。 针对直播内容的精彩片段，通过智能剪辑技术确定精彩时刻的精准起止时间，最后根据视频内容理解结果，智能选择手动字幕、配音配乐、音乐卡点，实现混合剪切过渡、特效渲染等多种创意形式。 一站式全手动、智能生成精美精彩短视频。 该技术覆盖秀场、游戏、电商等直播场景中30+细分垂直直播精彩片段。 推动直播精彩视频制作和传播。
前言
快手是一个短视频社区。 除了大量的短视频内容之外，还有特别丰富的直播内容。 我们知道，直播是即时内容，需要用户长时间集中注意力来消费。 为了方便用户快速消费直播中的精彩内容，快手MMU团队开发了一套直播精彩片段智能拍摄解决方案，利用音频、视觉、NLP等多模态AI技术，对直播精彩内容进行智能剪辑。直播精彩，生成精美短视频。
目前业界在精彩片段剪辑和视频摘要方面做了大量的研究和实现。 例如，2019年元旦阅兵期间，卫视将阅兵现场直播的精彩片段剪辑成短视频发布； 、犯规、过人等亮点。 可以看出，行业主要针对单一特定直播垂直品类进行精彩剪辑，而快手的直播内容非常丰富，形成了秀场、电商、游戏、蓝筹等多场景的直播生态。领急就业，影视综合。 垂直品类丰富多样，比如舞蹈、舞蹈、乐器独奏、游戏、聊天、二次元、影视等。我们知道，不同垂直直播的内容存在着显着的差异，这对直播内容构成了特殊的要求。直播精彩剪辑的一大挑战，比如如何定义不同垂直直播的精彩时刻，如何识别不同垂直直播的精彩片段，如何编辑制作类似的直播精彩片段，如何针对这些挑战和问题，快手MMU团队借助音频、视觉等多模态AI技术，打造了一套直播精彩片段智能拍摄解决方案、NLP和跨模态检索，从亮点识别到智能创作，实现一站式全手工生成精美高光短视频，覆盖快手秀场、游戏、电商等直播场景近30个细分垂直直播-商业。 直播精彩短视频让用户快速消费直播的精彩瞬间，有效为直播间吸引流量，促进快手直播的有效传播和影响力。
快手直播精彩片段智能拍摄解决方案
在介绍精彩片段智能拍摄解决方案之前，我们先来了解一下直播精彩瞬间的定义。
如何定义直播的高光时刻？
对于直播的精彩时刻快手视频剪辑软件教程，不同场景下的不同直播，精彩的定义是不同的。 各类杀戮风暴（三杀、四杀、五杀等）、各类等级杀戮（大显身手、横扫千军等）、偷死被定义为精彩片段； 电商直播、直播带货主播介绍商品的片段被定义为亮点片段。 另外，根据不同垂直行业的特点，将多个精彩片段进行混剪，生成一个精彩合集，比如一场游戏直播，将多个杀戮事件和杀戮关卡混合剪裁成一个完整的精彩杀戮合集。
现场高光智能拍摄解决方案
该方案的技术框图如下：
直播精彩片段智能拍摄解决方案基于图像识别、音频识别和测量等人工智能技术，设计开发了直播垂直类别定义（分类）、精彩片段识别（粗剪）、精彩片段编辑（精剪）、智能视频Creation（智能创作）四道智能处理流程，实现一站式全手动智能高光拍摄能力。
直播垂直品类定义（分类）
借助语音、视觉、文本等多模态技术对直播进行分类和处理。 处理流程如下：
高光片段识别（粗剪）
如上所述，不同垂直直播的亮点定义是不同的。 因此，针对不同的垂直直播，采用不同的语音、视觉等多模态AI技术对直播内容进行逻辑分析。 片段中是否有跳舞、跳舞等，语言直播会识别是否有语音、互动等，游戏直播会识别击杀、助攻、死亡等，然后进行粗剪和聚合直播精彩片段根据直播垂直类别，将同一垂直类别且相邻的精彩片段进行聚合，生成各垂直类别的粗剪精彩片段。
突出显示视频剪辑（细化）
快手直播的玩法多种多样，导致直播内容丰富多样，这会导致粗剪的精彩视频片段普遍富含各种非精彩元素，比如不是主播本人演唱的舞蹈片段、但原曲； 粗剪 剪辑的空白过长，也就是说包含了一些不刺激的内容，比如唱歌的剪辑，视频一开始不直接唱歌，而是播放背景音乐等。针对各垂直类目视频剪辑的粗剪问题，我们采用音频风暴检测、原唱检测、跨模态检索、人脸识别、唇动监测等多模态音视频技术进行细粒度剪辑。 剪辑处理快手视频剪辑软件教程，获取直播精彩片段准确的时间边界信息，有效剔除原唱、长空白等非亮点成分。
因为主播的水平有好有坏，所以他们的演技和表演水平也有很大的差别。 这里，我们会对精彩片段的表演水平、与粉丝的互动、直播间的气氛进行评分，剔除表演水平低、动作单一、互动性差的片段。 分段。 据悉，还对视频的质量，如清晰度、直播环境等进行打分，以保证微调后的精彩视频的质量和视觉效果。
智能视频创作（Smart Creation）
为了生成精美的直播精彩短视频，我们还利用AI技术智能编辑制作微调片段，提升精彩视频的质量和观感。 对于微调后的精彩片段，我们从智能文本生成、智能音频生成、视觉创作、视频特效四个方面进行智能美化和渲染：
实时高光智能拍摄效果
为了验证直播高光智能视频的疗效，团队对不同垂直直播的高光视频进行了QA评估。 评测结果显示，各垂直类目高光视频优质率均达到95%以上。 下面给出现场精彩智能拍摄技术生成的短视频效果，分别是舞蹈、舞蹈、乐器、戏曲、游戏等现场精彩瞬间。
舞蹈类：
