B站画质补完计划：智能修复让宝藏视频重焕新生

B站画质补完计划：智能修复让宝藏视频重焕新生

B站作为一个拥有浓厚人文属性的平台社区，聚集了诸如《雍正王朝》、《三国演义》等经典影视剧集，同时也吸引了大量用户欣赏、品鉴这些人文经典。但美中不足的是，由于拍摄年代久远、拍摄设备落后、数据多次压缩传输等原因，大量剧集存在各种各样的画质问题，严重影响了用户的观看体验。

老片存在的画质问题

在观看了站内大量经典剧集后，我们总结了三点观看时的主观感受，并将解释这些主观感受背后蕴藏的画质问题及成因。

1. 模糊感

造成模糊感的原因有以下两点：受拍摄设备和显示条件的限制，老片片源的分辨率规格大多为 720p、540p 甚至更低，像素少导致清晰度低；数字化扫描、压缩存储等过程都会带来一定的精度损失，进而导致画面模糊。

图1. 电影《女儿国》原始视频画面

图2. 电视剧《雍正王朝》原始视频画面

2. 卡顿感

视频出现卡顿感的原因主要是，部分老片的帧率较低，即每秒画面的帧数较少，导致在视频连续播放过程中，画面出现“一顿一顿”的感觉，特别是在运镜过程中，这种感觉尤其明显。受限于拍摄时代及技术，以前的电视剧或电影的拍摄帧率通常被限定为24或25。尽管这个帧率设置在新时代仍在使用，但都已很难满足观众对流畅画质的渴求，更不能发挥视频播放设备的性能。如图3以及图4中人物在运动时有明显卡顿。

3. 毛刺感

毛刺感主要是由视频的压缩编码造成，老片生产的年代压缩和存储技术不够发达，严重破坏了画面中连续的线条、边缘等结构信息，进而产生毛刺感。如图5《三国演义》中关羽的衣物边缘，有层次不齐的突起和小块，以及图6海绵宝宝五官轮廓附近经常出现突起和小颗粒，这些小毛刺带来的脏感十分影响观感。

智能修复系统

针对老片中存在的模糊感、卡顿感、毛刺感等画质问题，多媒体实验室的画质团队研发了一套智能修复系统，有效修复了上述画质问题，大幅提升老片观感。

从模糊变清晰

通过图7《女儿国》片段、图8《雍正王朝》片段修复前后的对比图可以明显感受到智能修复算法带来的观感提升。在《女儿国》唐僧进城门的场景中，城门上的石块纹路、牌匾文字、屋檐线条以及士兵身体轮廓经过算法处理后都变得清晰可见；唐僧身着袈裟、手持禅杖的轮廓细节在算法处理后也变得更加锐利。而《雍正王朝》中张廷玉的面部皮肤纹理、眉毛胡须的毛发细节、五官轮廓的清晰度经过修复算法处理都得到了恢复。

图7. 电影《女儿国》修复前后视频画面对比

图8. 电视剧《雍正王朝》修复前后视频画面对比

从卡顿变流畅

让卡顿的视频变流畅，最直接的方法是提高视频帧率，缩短视频帧之间的时间间隔，例如将每秒25帧的视频变成每秒50帧。我们借助自研的视频插帧算法，实现视频帧的“无中生有”，通过这种生成插入帧的方式完成视频帧率由低到高的转变。图9、10中的视频在经过插帧处理后，人物运动及镜头移动更加丝滑流畅，卡顿感基本消除。

消除毛刺感

图11《三国演义》中关羽衣服边缘的毛刺、突起在算法处理后得到有效消除，衣服轮廓变得连续、锐利。图12中海绵宝宝面部线条附近的颗粒、小块经过算法处理也完全消失了，海绵宝宝的面部变得光滑、干净。智能修复算法有效地消除了老片中常见的由压缩引起的毛刺感，使老片画面在变清晰的同时也变得更干净，观感大幅提升。

智能修复系统的架构

智能修复系统是一套完整的、端到端的画质修复流水线，输入为原始待修复视频流，输出为修复后视频流，系统逻辑如图13所示。智能修复系统由画质评估模块以及策略决策模块组成。在画质评估模块，我们会对原始视频流的分辨率、帧率、以及视频画质分数 VQA (Video Quality Analysis) 等画质信息进行提取，并将该信息流传递给画质修复模块来选择合适的修复策略以对原始视频流进行画质修复。

具体而言，当某一路画质条件不及预期时，只会触发相对应的修复流程，如帧率修复或画面修复；当视频帧率、视频画面质量都低于我们设定的期望下限时，就会同时触发帧率修复、画面修复流程来对原始视频流进行修复。

总结与展望

智能修复系统是一条高度智能化的、具有良好可扩展性的画质修复流水线，目前已经集成了B站多媒体实验室自研的画质评价算法、人脸修复算法、背景修复算法以及视频插帧算法。在实际的算法落地实践中，我们充分研究了老片的画质缺陷，并结合实验室现有的画质能力对老片中存在的画质缺陷进行有针对性地修复，最终实现了清晰自然的画质优化效果。

目前， 智能修复系统已成功投入线上点播业务，并已支持了智能修复 (独立清晰度) 视频流生产。未来，我们将持续在覆盖范围、主观效果和部署灵活度等方面进行算法的迭代更新，以在直播、点播、应用端等多个场景为视频画质提供更大的增益。