《狂飙》背后的爱奇艺黑科技揭秘
《狂飙》背后的爱奇艺黑科技揭秘
随着热播剧《狂飙》的上线，爱奇艺再次展示了其强大的流媒体技术实力。为了实现“零秒开播”的目标，爱奇艺采用了多解码器方案、软解方案以及直播技术架构等多种策略，以应对不同设备的性能差异。这些技术不仅提升了用户体验，还确保了在各种复杂场景下的流畅播放。让我们一起揭秘爱奇艺背后的技术秘密吧！
爱奇艺的流媒体技术架构
随着业务的发展，爱奇艺大数据平台已积累了海量数据，这些数据分散在多个AZ（Availability Zone，可用区）的多个大数据集群里，彼此割裂、不互通，存在数据孤岛，给数据使用带来了极大的不便。业务使用数据时，需要知道数据在哪个集群，寻找起来比较麻烦。如果依赖的数据在另一个集群，需要将该数据同步到计算所在的集群，导致数据冗余，增加存储成本，且难以维护。
为了解决上述这些问题，爱奇艺大数据团队构建了多 AZ 统一调度架构，支持不同 AZ、不同集群间数据读写路由、计算调度路由，使得业务可以无感访问不同集群上的数据，在不同集群间无感迁移数据、按需调度计算，大幅降低存储计算成本，提升数据开发与分析效率。
多 AZ 统一调度架构的核心设计思路就是：底层分而治之，上层统一入口。如图 3 所示。
底层部署上，合并或拆分成大小合适的资源池，避免太大不好管理、太小过于分散：
AZ：由原先多个大小不一的 AZ 合并到同城两个大 AZ，进行跨 AZ 分流及关键业务互备。
存储：由原先的 7 个 HDFS 集群合并到 2 个 HDFS 集群，并基于数据热度进行分层存储，缩减数据规模。
计算：由原先的 7 个离线计算集群、若干个实时计算集群，合并成 2 个离线计算集群、2 个实时计算集群。
上层大数据应用及业务使用上，统一了各层面的访问入口：
统一大数据存储：自研 QBFS (iQIYI BigdataFileSystem) 大数据文件系统，兼容HDFS、对象存储等不同的文件系统协议，实现不同集群间统一访问和存储路由，支持数据在不同分层存储介质间的无感流转。
统一计算调度：自研 QBCS (iQIYI Bigdata Computing Scheduler) 大数据统一计算调度服务，根据任务属性、集群情况、AZ 间网络情况等因素，将任务调度到合适的集群，并支持自动主备、故障切换等高可用能力。
统一元数据中心：提供一个全局统一定义的元数据服务，实现“一处登记、多处访问”。
在存储层，我们通过自研的 QBFS (iQIYI Bigdata FileSystem)大数据文件系统提供统一访问入口，屏蔽底层文件系统和集群，实现了存储与计算的分离、跨集群的统一存储路由。
QBFS 是一个虚拟文件系统，其底层支持多种存储类型（如 HDFS、私有云对象存储、公有云对象存储等），并支持 Multiple Sub-FS、Replica FS 以及Alluxio 缓存等系统。
QBFS 提供了跨集群/跨文件系统的统一命名空间、缓存加速、分层存储、透明迁移（开发中）、多 AZ 高可用（规划）等功能，下面将简单介绍已上线的前三个功能，更多详细架构及具体功能，我们将在后续专门的 QBFS 文章中介绍。
统一命名空间
QBFS 实现了存储路径的统一命名空间，例如qbfs://online01/warehouse/db1/tableX，路径中的online01为 Region 标识，同一个Region 下的不同路径（比如 db1、db2）可能分属于不同 AZ、不同集群、不同类型的文件系统（比如 HDFS 或对象存储）。上层计算引擎只需使用 QBFS 路径，而无需关心底层的存储细节，由 QBFS 通过虚拟路径与底层存储的映射关系进行路由。计算任务可以在任何集群上访问 QBFS 中任何集群的数据，从而实现了真正的存储计算分离。
图4 QBFS 统一存储架构
缓存加速
为了解决跨 AZ 访问带来的延迟、波动、网络流量等问题，我们引入了 Alluxio 缓存，与 QBFS 集成，构建了跨 AZ的 QBFS-Alluxio 缓存系统，支持预加载或根据数据热度自动加载热数据，减少了跨 AZ 之间数据的传输，节省专线带宽成本。
在 OLAP 存算分离架构下，我们也遇到热数据查询延迟大、HDFS 性能抖动引发查询不稳定等情况，因此我们也将 QBFS-Alluxio 集成到OLAP 中，大幅提升查询性能。在某个 Trino on HDF
“零秒开播”技术的实现原理
虽然没有直接找到爱奇艺的相关资料，但可以推测其采用了类似B站的长连接技术，通过优化网络协议和负载均衡来实现低延迟的实时推送。
长连接，顾名思义，是应用存活期间和服务端一直保持的网络数据通道，能够支持全双工上下行数据传输。其和请求响应模式的短连接服务最大的差异，在于它可以提供服务端主动给用户实时推送数据的能力。
长连接服务整体构架如上图所示，整体服务包含以下几个部分。
1）控制层：建连的前置调用，主要做接入合法性校验、身份校验和路由管控。
主要职责：
- 1）用户身份鉴权；
- 2）加密组装数据，生成合法token；
- 3）动态调度分配接入节点。
2）接入层：长连接核心服务，主要做卸载证书、协议对接和长连接维护。
主要职责： - 1）卸载证书和协议；
- 2）负责和客户端建立并维护连接，管理连接id和roomid的映射关系；
- 3）处理上下行消息。
3）逻辑层：简化接入层，主要做长连的业务功能。
主要职责： - 1）在线人数上报记录；
- 2）记录连接ID各属性和各节点的映射关系。
- 4）消息分发层：消息推送到接入层。
主要职责： - 1）消息封装、压缩和聚合推送给相应的边缘节点；
5）服务层：业务服务对接层，提供下行消息推送入口。
主要职责： - 1）管控业务推送权限；
- 2）消息检测和重组装；
- 3）消息按一定策略限流，保护自身系统。
3.3核心流程
长连接主要是3个核心流程：
- 1）建立连接：由客户端发起，先通过控制层，获取该设备合法的token和接入点配置；
- 2）维持连接：主要是客户端定时发起心跳，来保证长连接活跃；
- 3）下行推送：下行推送由业务Server发起，经由服务层根据相关标识确定连接标识和接入节点，经过消息分发层，把推送到对应的接入层，写入到指定连接上，然后下发到客户端。
3.4功能列表
结合B站业务场景，下行数据推送，提供如下通用功能：
- 1）用户级消息：指定推送给某些用户（比如给某个主播发送邀请pk消息）；
- 2）设备级消息：制定推送给某些设备（比如针对未登陆的设备，推送客户端日志上报指令）；
- 3）房间级消息：给某房间内的连接推送消息（比如给直播间的所有在线用户推送弹幕消息）；
- 4）分区消息：给某分区的房间推送消息（比如给某个分区下，所有开播的房间，推送某个营收活动）；
- 5）全区消息：给全平台用户推送消息（比如给全部在线用户推送活动通知）。
随着业务发展壮大，在线用户越来越多，长连系统的压力越来越大，尤其是热门赛事直播，比如s赛期间，全平台在线人数快达到千万，消息吞吐量有上亿，长连系统消息分发平均延迟耗时在1s左右，消息到达率达到99%，下面具体分析下长连做了哪些措施。
4.1网络协议
选择合适的网络协议对于长连接系统的性能至关重要：
- 1）TCP协议：可以提供可靠的连接和数据传输，适用于对数据可靠性要求较高的场景；
- 2）UDP协议：是一个不可靠的协议，但是传输效率高，适用于对数据可靠性要求不高的场景；
- 3）WebSocket协议：也是实现双向通信而不增加太多的开销，更多的用于web端。
接入层拆分成协议模块和连接模块：
- 1）协议模块：和具体的通讯层协议交互，封装不同通讯协议的接口和逻辑差异。
- 2）连接模块：维护长连接业务连接状态，支持请求上行、下行等业务逻辑，维护连接各属性，以及和房间id的绑定关系。
针对以上第 1）点，协议模块同时给连接模块提供统一的数据接口，包括连接建立、数据读取、写入等。后续增加新协议，只要在协议模块做适配，不影响其他模块的长连业务逻辑。
优势在于：
- 1）业务逻辑和通讯协议做了隔离，方便迭代增加通讯协议，简化兼容多通讯协议的实现难度；
- 2）控制层可以根据客户端的实际情况，下发更优的通讯协议。
4.2负载均衡
采用负载均衡技术可以将请求分发到不同的服务器节点上处理，避免了单一节点的负载过高，提高了系统的扩展性和稳定性。
长连增加控制层，做负载均衡。控制层提供http短连接口，基于客户端和各边缘节点
视频编码技术创新
在视频编码方面，爱奇艺在业内率先使用AV1编码标准，并自主研发了QAV1编码器。相比传统的H.264和H.265，AV1能够提供更高的压缩效率和更好的画质。
目前，流媒体平台使用最广泛的编码格式依然是H.264(MPEG-4 AVC)。相比它的上一代H.263，H.264效率更高，能够节省超过 50% 的比特率（码率），在低码率情况下提供高质量的视频图像，并且对设备有很好的兼容性。
随着人们对视频清晰度的需求越来越高，从720P，到1080P、4K，H.264 的编解码格式越来越难以满足需求。2013年，H.264的后继者H.265获得国际电信联盟电信标准化部门批准，通过改进技术，H.265进一步节省了 50% 的比特率，最高支持7680*4320的分辨率。最新的编码标准H.266，能够进一步节省50%比特率。
编码技术的升级带来的直接结果是： 在带宽成本不变的情况下，用户在流媒体平台上，能看到越来越多清晰度为1080P的内容。
目前，H.265并没有得到广泛普及。一个主要原因是，其专利持有者过多，商用费用太高。因此，人们迫切需要一个更高效且能够承担费用的编解码格式。
2015年，亚马逊、谷歌、英特尔等公司联合成立开放媒体联盟 (AOMedia)，致力于推动超高画质、节约流量的技术发展和用户体验提升。2018年，AOMedia 对外公布AV1 比特流和解码过程规范，后被率先应用于YouTube 和 Chrome 浏览器。
在国内，AV1 出镜率也越来越高，2019年，腾讯宣布腾讯云直播和点播全线产品将支持 AV1 标准；2020年，爱奇艺成为国内首家启用 AV1 格式的视频网站。基于AV1标准，爱奇艺还独立自主研发出QAV1编码器，用于缓解AV1计算复杂度高、编码时间长的问题，加速AV1应用效率。
“编码技术的进步绝非简单地归因于平台降低带宽成的需求，也是为了让用户看到更高质量的视频。”一位业内人士如是说。
编码技术的不断升级在事实上帮平台节省了带宽成本，这也给了视频平台在优质内容和制作上投入更多精力的底气。
过去几年间，行业涌现出《边水往事》《我的阿勒泰》《唐朝诡事录》系列、紫金陈三部曲等优质剧集。而在画质方面，平台除了通过升级编码技术，也在探索更多前沿技术，如 HDR（高动态范围）图像技术，满足用户对视听体验的追求。相比 SDR (标准动态范围)，HDR 能够提供更多的动态表现和图像细节，反映出真实环境中的视觉效果。
2024年，爱奇艺自制剧《我的阿勒泰》播出后，引发广泛热议，甚至带动了阿勒泰的旅游经济。这其中，除了优秀的原作品传递出的治愈力量，编剧紧扣原著内核的改编，也离不开剧集制作方对视频画面的追求。
对于观众力赞的“电影级”质感和镜头美学，《我的阿勒泰》摄影指导刘懿增指出，新疆的自然风光、演员的精准表演，为镜头表达带来了很好的创作土壤。
电视剧播出期间，#我的阿勒泰壁纸#一度也登上热搜，这其中也离不开HDR技术的运用。调色师黄千谈到该剧色彩创作时指出，《我的阿勒泰》在拍摄时就做了HDR色彩版本的准备，后期把创作的可能性无限打开。据了解，《我的阿勒泰》首次打通了原生HDR的拍摄制作流程，实现了覆盖拍摄、制作、生产、播放的全链路质量管控。
更好的视听体验才是未来
至今，仍有不少视频平台受困于用户体验和盈利的两难抉择。但随着技术进步，如编码技术的出现，在很大程度上能够实现这两者的平衡——平台节省部分带宽成本，用户减少流量费用、获得更好的体验。
回过头看，无论是用户侧的体验需求，还是平台方的成本控制，都离不开技术的进步。从这个角度看，当前编码技术升级无疑给行业发展提供一个良好的开端和示范。
实际上，过去十几年发展间，平台不仅在探索如何更新编码技术，同时还推出调色算法模型、终端设备认证标准等以提高用户体验。
例如，2021年，爱奇艺宣布全量 HDR 内容可支持由世界超高清视
技术创新带来的商业成功
这些技术不仅提升了用户体验，还确保了在各种复杂场景下的流畅播放。让我们一起揭秘爱奇艺背后的技术秘密吧！
以爆款剧为核心的高品质的原创内容，是爱奇艺拴住会员的根。
2023年自制剧的丰收
根据第三方平台云合数据，2023年全网剧集会员内容有效播放TOP 10的电视剧里，在爱奇艺播放的有8部。（有效播放：综合有效点击与受众观看时长，去除异常点击量，并排除花絮、预告片、特辑等干扰，真实反映影视剧的市场表现及受欢迎程度。）同时2023最为轰动播放后几乎成为一种现象剧本的《狂飙》，也是爱奇艺独播。
第三方