“AI技术的运用,既能让视频服务的创作、生产、分发和播放等环节变得更为高效和智能，也能给予用户更优的收视和互动体验。英特尔至强可扩展处理器、 OpenVINO工具套件不仅使我们的深度学习云平台获得了更强的算力，也使深度学习推理效率得到了显著的提升。”
——爱奇艺研究员 张磊
基于人工智能（Artificial Intelligence，以下简称Al）技术，为用户提供更为丰富多彩且能“投其所好”的在线视频服务，已成为众多网络视频服务商的共识。作为国内网络视频服务领域的领先企业，爱奇艺*一直都在积极推动AI应用与视频服务的融合，在智能创作、智能生产、智能播放等全流程智能视频服务中已获取累累硕果。
随着视频AI应用的不断推陈出新及其在视频服务中戏份的逐渐加重，它们对爱奇艺基础设施也提出了新的挑战。为应对这些挑战，爱奇艺将AI与云计算结合，构建了创新的Jarvis*深度学习云平台，以满足智能视频服务在业务弹性扩展、资源统一调度和主流深度学习框架支持等方面的要求。
新平台的成功运行，很大程度上需要依靠更强的计算能力及其转化而来的更高深度学习效率。为帮助爱奇艺进一步优化深度学习云平台的服务效能，英特尔不仅以英特尔至强可扩展处理器为该平台输出了更强劲的算力，还基于英特尔架构处理器的技术特性，对平台的深度学习推理进行了大量的软硬件调优，包括利用 OpenVINO工具套件英特尔发行版（以下简称 OpenVINO工具套件）执行的系统级优化。这些优化帮助爱奇艺大幅提升了在AI应用上的深度学习推理效率，井降低了平台总体拥有成本（Total Cost of Ownership，Tco），让AI在智能化的视频服务中展现出了更强的生产力。
爱奇艺解决方案实现的优势:
1）OpenVINO工具套件的引入，助力爱奇艺 Jarvis深度学习云平台有效提升其AI应用的深度学习推理效率，不同应用的优化加速能力可达数倍至数十倍；
2）英特尔至强可扩展处理器带来的计算性能增强，可进一步提升这些AI应用的推理效率
在线观看视频已是今天互联网生活的重要组成部分之一，截止到2018年底，中国在线视频用户已达612亿，使用时长占比达12.8%。产业链的不断成熟,也驱使视频服务商引入更多新技术、新能力来提升服务效能、改善用户体验。作为具备产业影响力的高品质视频娱乐服务提供商，爱奇艺正积极引入更多AI能力，来构建全流程的在线视频智能服务体系。
图一 AI在爱奇艺的应用
如图一所示，围绕视频的创作、生产、分发和变现等流程，爱奇艺利用AI能力将其逐一实施了智能化转型。以视频创作中的“选角色“为例，利用自然语言处理( Natural Language Processing，NLP)，爱奇艺可以从角色信息和演员信息中抽取关键信息，并根据AI算法来判断二者的匹配度，选出合适的角色；再譬如在视频播放中，利用AI强化学习模型，视频平台可实现自适应码流( Adaptive Bit Stream,ABS)播放，改善视频收看体验。
随着AI技术在爱奇艺视频服务中戏份的不断增加，它们对既有基础设施也提出了更多需求。首先，AI应用的爆发式增长,需要基础设施能够提供快速、便捷的部署能力；其次，多样化的AI模型和框架，需要基础设施提供更优的支持。此外，对于部署在云端、内容分发网络( Content Delivery Network,CDN)以及客户端等不同环填中的AI应用，如何有效调配计算资源提升它们的效率，也是爱奇艺关注的核心需求。
爱奇艺决定通过构建基于云的深度学习平台 Jarvis来应对以上挑战，它通过与英特尔开展深入技术合作，针对英特尔架构进行了全面软、硬件优化,最终有效提升了AI应用的效率。
解析爱奇艺深度学习云平台
爱奇艺用于满足AI应用需求的 Jarvis深度学习云平台自下而上分为四层。如图二所示，其基于英特尔架构的高性能计算、网络、存储产品所组成的硬件平台，构成了整个云平台坚实的基础设施层。基础设施层之上，是由 Apache Mesos*和 Docker*等构成的资源管理及编排层，能够实现底层资源的统一管理、调度和审计。同时，平台提供的容器化运行环境，允许使用者按需申请、释放资源，能够有效提升平台的资源利用率。
图二 爱奇艺Jarvis深度学习云平台的架构图解
资源管理及编排层之上是 Jarvis平台的核心能力层，它以数据平台、算法商店以及AI能力（AI训练及推理）等模块，提供了一站式AI服务能力平台。数据平台可以通过数据抓取、众包采集以及导入公开数据集等方式，汇聚来自爱奇艺内外的海量数据，并提供智能标注、众包标注等多种数据标注方式，用于对文本、图片、视频和音频等结构化/非结构化数据实施标注。算法商店则为平台使用者提供了各类AI算法、网络及模型的展示和交流，并提供了各类算法的效果评估能力来供使用者取舍。
对于关键的AI模块，Jarvis平台一方面对 Caffe*、Tensorfow*、Torch*、 Keras*、 MxNet*等主流深度学习框架提供了支持；另一方面，平台的训练模块也为AI应用提供了基于底层计算资源池的分布式训练环境，而推理模块则提供了丰富的AI模型及服务，让使用者得以快速、便捷地部署高性能的推理服务。在平台的最上层一一应用层,则部署了一系列视频AI应用，例如视频创作、内容分发、商业变现等，供爱奇艺内外部用户使用。
通过Jarvis深度学习云平台，爱奇艺形成了完善的AI应用部署流程。首先，来自商业智能( Business Intelligence，BI)平台、大数据分析和各种AI应用需求的数据源将被汇总到数据系统，使用者可以通过WEB界面、命令行或者API接口将数据加入任务进行训练，而通过训练获取或更新的模型则会被纳入AI模型库；最后使用者可以在算法商店中选择合适的A算法实施推理，并最终以HTTP等方式反馈给上层应用或请求。
基于英特尔架构的软硬件优化
提升深度学习推理效率，是爱奇艺 Jarvis深度学习云平台增强视频服务生产力的关键能力之一。在英特尔帮助下，爱奇艺基于英特尔架构处理器对云平台的深度学习推理能力进行了充分的优化。
图三 爱奇艺制定的推理性能优化指标和优化方案
如图三所示，爱奇艺首先确定了响应时延、吞吐量和模型准确性三个维度的性能指标，并制定出系统级、应用级和算法级三个层级的优化方案。其中，算法级优化侧重于优化深度学习模型本身，使用诸如超参数设置、网络结构剪切和量化等方法，来减小模型的大小和计算强度，进而加速推理过程。在应用级优化上，则是通过改进特定应用程序和服务的流水线和并发性来提升推理效率。通常意义上的深度学习服务不仅包括推理,还包括数据预处理、后处理和网络请求响应，良好的井发设计可有效提升这些应用在服务器上的端到端性能，在系统级优化上，通过引入SIMD( Single Instruction Multiple Data)指令集、OpenMP多线程库及英特尔MKL/ MKL-DNN数学库等优化方法，充分加速整个平台的计算能力，从而全面提升平台的效率。
爱奇艺在系统级优化的基础上，还为 Jarvis平台引入了来自英特尔的AI工具套件一 OpenVINO。
图四 基于OpenVINO工具套件的Jarvis平台推理优化过程
如图四所示，OpenVINO工具件首先会使用一个模型优化器(Model Optimizer Tool)将原生深度学习模型进行转换和优化，并生成IR( Intermediate Representation)，IR含有优化后的网络拓扑结构、模型参数以及模型变量，推理引掌( nference Engine)会读取IR，执行推理过程。
作为计算机视觉和AI技术有机融合的成果，OpenVINO工具套件可以为 Jarvis平台加速部署在不同计算平台（包括英特尔处理器、FPGA和VPU）之上的模型推理效率。它包括深度学习推理加速工具包以及计算机视觉工具包,可对 TensorFlow、MXNet、 Caffe等深度学习框架提供良好支持。
以视频播放时的弹幕为例，为了让弹幕信息不干扰正常视频播放，Jarvis平台通过基于 Deeplab v3+*深度学习模型的AI应用，让弹幕信息隐藏到视频中的主要对象之后。 Deeplab v3+模型是基于深度卷积网络的语义图像分割模型，它可以通过对单个视频帧上的图像抠图来实现该功能。与传统的计算机视觉算法相比，此模型可适应各种复杂的纹理和场景,例如在前景和背景颜色相似的情况下，提供更准确的结果和更便捷的部署能力。
来自爱奇艺的测试数据显示, OpenVINO工具套件的引入，帮助 Jarvis平台将实时弹幕显示的推理速度提升达5倍左右。爱奇艺JarvIs平台上的其他深度学习模型，也验证了 OpenVINO工具套件带来的加速效果。如图五所示，面部识别应用的效率也提升达4倍左右，涉黄内容检测的效率提升达6倍左右，而在文本检测应用中,推理性能在优化后，更是提升达11倍之多。
图五 OpenVINO工具套件提升Jarvis平台推理效率
值得一提的是，拥有更强算力的英特尔至强可扩展处理器，能让基于 OpenVINO·的AI应用性能进一步提升。新款的处理器往往集成有更多核心，而平台在执行离线推理作业时，推理吞吐量会随着处理器核心数量的增加而线性增加；另一方面，新款处理器中更优化的指令集，例如英特尔至强可扩展处理器内置的英特尔AVX512，也能提供更为强劲的性能加速。来自爱奇艺的对比数据显示，在同样使用 OpenVINO工具套件的情况下，使用英特尔至强金牌648处理器,与使用英特尔至强E5-2650w处理器相比，用户可获得额外翻倍的性能加速。随着今年发布的、更新的第二代英特尔至强可扩展处理器在爱奇艺 Jarvis云平台上的逐渐部署，其性能表现势必会更上一层楼。
展望
现在，以 OpenVINO工具套件为代表的各类优化方法与工具，已在爱奇艺 Jarvis深度学习云平台上的十余个AI应用中获得应用并在数干个核心中进行了部署。来自爱奇艺 Jarvis平台一线使用者的反馈表明，这些优化方法已帮助诸多视频AI应用有效提升了性能，让视频服务生产力获得了大幅提升。
面向未来，爱奇艺还将与英特尔继续携手，进一步优化其深度学习效率，还计划为其 Jarvis深度学习云平台添加更多异构计算资源来加速特定任务，同时，在服务灵活性，调度优化和参数自动选择方面，双方也计划更充分地利用计算资源，并使深度学习推理服务获得更为灵活的部署能力。