高通LLSS技术突破：VR串流迎来低延迟时代
高通LLSS技术突破：VR串流迎来低延迟时代
高通公司近期提出了一种用于立体视频串流的低延迟神经编解码器LLSS（Low-Latency Stereo Streaming），该技术通过双向特征移位模块和并行自编码器大幅提高了R-D性能，有效解决了虚拟现实（VR）应用中的网络延迟问题。
创新技术原理
与现有方法采用序列交叉视角运动补偿不同，LLSS引入双向特征移位模块（BiShiftMod），直接利用视图之间的相互信息，并通过联合交叉视角先验模型进行熵编码，从而有效地对视图进行编码。由于这种设计，LLSS并行处理左视图和右视图，最大限度地减少了延迟。另外与现有的神经和传统编解码器相比，它大大提高了性能。
在研究中，高通提出了一种低延迟立体视频串流LLSS编解码器，它设计用于并行立体视频编码。这个编解码器的开发基于两个关键的见解：
首先，受立体匹配方法最新进展的启发，与LSVC中复杂的运动补偿方案相比，左右视图之间的视差补偿模块可以大大简化。它可以用水平位移有效地表示。
其次，团队观察到视差补偿可以在两个视图中同时执行。仔细的编码器设计，在视图之间共享水平移动的特征，可以隐式地估计视差，同时促进两个视图的并行处理，从而实现低延迟推理。下图显示了方法的示意图比较：
研究人员同时引入了一个新的组件：双向移位模块BiShiftMod它促进了网络中视图之间的连接和信息交换。这个模块集成在编解码器和超编解码器中，并可以实现跨视图互信息的数据依赖优化。通过遵循这种方法，团队用一个并行编码网络取代了顺序视差补偿。
性能优势显著
研究表明，与最先进的方法相比，高通提出的解决方案在三个常见的立体视频基准上大幅提高了R-D性能：
- 在cityscape数据集上节省了50.6%的bd率
- 在KITTI 2012数据集上节省了18.2%
- 在KITTI 2015数据集节省了15.8%
另外，团队提供了神经网络复杂度和推理时间的研究，并表明模型在FLOPS方面的复杂度仅为LSVC的35%。
行业影响深远
这项技术的突破对VR行业具有重要意义。随着虚拟现实等新视频模式的兴起，对高效多视点视频压缩方法的需求日益增长。传统的编解码器虽然产生了一定效果，但存在速率高、忽视视图间相似性等问题。而LLSS通过创新的并行处理方式，不仅大幅降低了延迟，还提高了编码效率。
目前，高通已与PICO等VR设备制造商展开深度合作。PICO最新发布的4 Ultra MR混合现实一体机就搭载了第二代骁龙XR2平台，该平台针对视觉效果、AI和视频透视进行了优化。通过Wi-Fi 7连接支持，用户可以享受高清晰度、低延迟的游戏串流体验。
未来展望
随着5G和6G网络的普及，低延迟将成为VR应用的标配。高通的LLSS技术为VR内容传输提供了更优的解决方案，有望推动VR产业进入新的发展阶段。未来，我们有望看到更多基于这项技术的创新应用，为用户带来更加流畅的沉浸式体验。