【超高清视频产业联盟】三维沉浸视频技术白皮书(2024)

近日，世界超高清视频产业联盟（UHD World Association）发布了《三维沉浸视频技术白皮书(2024)》，这份报告深入探讨了三维沉浸视频技术的最新发展和未来趋势，涵盖了从内容采集到终端显示的全技术体系，并对行业标准化提出了建议。报告指出，三维沉浸视频技术通过模拟现实场景的视觉信息，为观众提供了更加立体、真实、沉浸式的体验，有望在教育、文化、医疗和娱乐等多个领域引发视觉变革。其中，报告详细介绍了三维沉浸视频的技术演进路线、技术体系、发展趋势以及标准化建议，为行业提供了宝贵的参考和指导，对于促进三维沉浸视频技术的发展和应用具有重要意义。

三维沉浸视频技术正在引领一场视觉革命。这项技术通过采集真实世界的数据，并结合计算机视觉、视频编解码、深度学习等技术，模拟并重现现实场景的完整视觉信息，让观众获得立体、真实、沉浸式的视频体验。与传统的二维平面视频相比，三维沉浸视频具有立体感知、自由视角、任意时空分辨率和复刻现实场景完整视觉信息等特点，为教育、文化、医疗和娱乐等领域带来视觉上的变革。

三维沉浸视频的发展前景广阔，但目前仍面临一些挑战。首先，技术尚未成熟，产业正处于探索和发展阶段。其次，大众对于三维沉浸视频的认知尚不足，亲身体验者更是寥寥。此外，行业内缺乏完善的标准，硬件方面存在兼容性和互操作性问题，庞大的数据面临压缩和传输的挑战，制作和渲染未形成统一的解决方案。因此，本白皮书将梳理三维沉浸视频技术的演进路线和技术体系，展示典型的应用场景和产业需求，为三维沉浸视频技术提出标准化建议。

三维沉浸视频的技术体系包含了内容采集、内容重建、内容编码、内容传输、渲染交互、终端显示、质量评价等七个核心组成部分。内容采集阶段通过各类相机获取场景的视觉信息。然后利用双目立体视觉、多视立体视觉等技术将这些数据转化为具有立体感和几何结构的场景。接着，对数据进行压缩和编码，以便在传输和存储中减少数据量。渲染交互阶段将编码后的数据解码，并通过视点合成等技术渲染成沉浸式的视觉体验。最后，终端显示为用户提供了沉浸视频的观看方式。这六个部分协同作用，创造出立体、沉浸式的视觉体验。此外，质量评价可以帮助确定三维沉浸视频的整体质量。

在内容采集方面，三维沉浸视频内容采集包括图像的采集和深度信息的采集，可以通过多视点的方式，使用双目相机、阵列相机或全景相机完成。深度信息的采集既可以通过被动式采集即多目相机通过后期计算获得，也可以通过深度相机、激光扫描仪等通过物理的方式直接获得。在内容重建方面，三维沉浸视频的内容重建是通过从单个或者多个视角采集的视频或几何信息，利用计算机视觉和图像处理技术，对场景进行三维结构的重建。

在编码方面，三维沉浸视频内容编码涉及将三维场景的内容编码成数字数据，以便在沉浸式视频系统中传输、存储和呈现。不同的三维显示需要使用不同编码方案，如传统的平面视频编码、双目立体视频编码、多视点编码、全景立体视频编码、体积视频编码等。在传输方面，多视点视频、FOV视频和体积视频对网络带宽、存储和处理能力都提出了高要求。因此，可以根据用户当前的视点和潜在的移动方向，只传输相关视点的视频流，减少不必要的数据传输。

在渲染交互方面，多视裸眼3D、自由视点技术可以提供多个视点，因而观看者可以在任意允许的视点范围内观看，但视点越多，所需同时传输的数据量就越大，这对于带宽和存储都带来了巨大的压力。此外，视点越多，拍摄成本相应就越高，因此需要使用虚拟视点合成术。虚拟视点合成技术是一种利用已有视角的图像或视频信息，通过计算机图形学方法，在场景中生成新的视角的技术。

在终端显示方面，三维沉浸视频的终端设备包括支持高分辨率和高帧率的显示设备、3D眼镜与VR头戴显示器、裸眼3D设备等。立体显示设备的种类繁多，基本原理都是相似的，通过为两只眼睛呈现不同的图像，以实现三维立体的效果。

最后，在质量评价方面，针对普通的二维视频，其质量评价主要可以分为两大类：主观质量评价、客观质量评价。主观质量评价是由测试者按照规定的实验流程观看一组存在失真的视频，并对视频质量进行主观打分评价的方法。而客观质量评价通过设计数学模型来模拟人眼对图像质量的感知，以尽可能实现和主观评价一致的评价结果。

这篇文章的灵感来自于《三维沉浸视频技术白皮书(2024)》。除了这份报告，还有一些同类型的报告也非常有价值，推荐阅读，这些报告我们都收录在同名星球，可以自行获取。

以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。

【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。