《黑神话◆★■:悟空》取材于《西游记》的故事和人物角色★■◆◆★,融入了大量古代建筑★■◆■◆、东方美学、国风音乐等中华文化元素◆■★■★,36个取景地中,共有27个來自山西,例如悬空寺、小西天等■◆◆★。在游戏中■◆■◆◆,高清逼真的渲染场景与现实世界无缝衔接◆■◆,虚拟与现实的界限在精湛的技术下难以分辨,带来身临其境的沉浸式体验。
3D实时渲染技术在自动驾驶、人机交互■■■◆◆、虚拟现实■★◆◆、生物医学和天文观测等多个领域展现了广泛的应用前景,推动了智能化和可视化的发展。这项技术不仅提升了用户体验和产品功能,也加速了产品创新与迭代,具有显著的市场价值和工程价值。通过精准的3D视觉模拟,3D渲染技术正悄然改变工业和日常生活的传统模式★◆,助力提供沉浸式体验和智能化操作范式◆■◆★★,从而提升了工作效率和决策能力◆■★■★★,印证了“科技改善生活、科技服务生活”的理念。
计算机视觉的最高奖是“马尔奖◆◆■”(Marr Prize)■◆◆,以David Marr命名,而David Marr作为计算机视觉4的开创者曾经提出过一个系统的视觉理论。在他的理论中,他把计算机视觉终极问题定义为:输入二维图像,输出是由二维图像重建出来的三维物体的位置与形状◆■;而其他的一些我们现在常称为■◆◆“计算视觉★◆”的任务★■■■■,比如识别、检测等等,在Marr的理论中只能称作“模式识别”问题,不能被称作“计算视觉”问题。这其中的分别在于,Marr证明如果终极问题能够被解决,那么其他问题都能够被解决◆★■。所以从整个计算机视觉的领域来讲,NeRF所解决的就是计算机视觉最根本的问题,它所展示的效果是计算机视觉领域最根本的进步。
3D物体的表征本质上是找到在3D空间某坐标下物体的例如反射率、光学密度、颜色等属性。数学上实际上需要找到一种储存关于3D点坐标与这些物体属性的方式。离散的3D表征实际上是显式地将这些关系存储在网格中★■◆■,通过访问这些网格就能获得物体的属性,从而得到整个3D场景下的物体。那么有没有可能通过构造函数的方式,直接将输入的3D坐标映射为物体属性呢■★■■◆★?神经隐式表征给了我们答案。
自2021年Nerf提出以来■★,有大量的工作前赴后继,为Nerf的改造与应用添砖加瓦,然而就在2023年夏天,Nerf的强大对手3D高斯泼溅(3D gaussian splatting, 3DGS)[5]正在蕴量着一次革命。3DGS结合隐式辐射场表示和显式渲染的优势。它首先将场景物体显式表示为点云,然后给每个点赋予一个3D高斯椭球。显式地将3D场景表示为多个3D高斯函数,每个高斯椭球连续地表征当前点云的3D物体属性■★■◆。使用可微的光栅化进行渲染,基本思想是将所有3D高斯根据相机参数投影到影像平面上,形成一系列的二维平面高斯◆■■,再通过二维平面上高斯的叠加混合,最终合成影像[6]■◆■★■★。通过对比渲染图像与实际拍摄图像直接的差异优化3D高斯椭球的参数■◆★◆★,能够在1080p分辨率下实现高质量的实时新视图合成★■。近期,德国图宾根大学Andreas Geiger课题组[7]介绍了一种抗锯齿3D 高斯泼溅方法Mip-Splatting■■,引进了3D平滑滤波器和2D Mip滤波器以实现任意采样率下的无伪影渲染。该工作获得2024年CVPR最佳学生论文。
图5展示了不同密度三角面片表征的3D物体★★◆。随着三角形面片密度增加,3D物体越细腻,但也为3D计算带来了更大的负担◆★■◆■。
尽管NeRF已经在高真实感的新视角合成方面取得了突破性进展◆◆★★■,但它依然存在隐式表达不直观、训练效率低等问题[4]。
在《黑神话:悟空》游戏开发中,有一至关重要的技术—3D实时渲染技术。它能够根据玩家的动作和视角变化,实时更新场景中的每一帧,确保游戏体验的流畅性和互动性◆■■◆■★。
3D实时渲染技术不仅在游戏领域有着广泛应用■■★,还在多个行业展现了其重要价值[8-10]◆◆。在自动驾驶领域,3D渲染技术可用于创建虚拟驾驶环境★★◆,协助自动驾驶系统识别和处理各种路况。例如★◆★■,Waymo和Tesla等公司利用该技术进行自动驾驶的模拟测试腾博台球桌 官网■★◆◆。在虚拟现实与增强现实的应用中,3D渲染技术使人与虚拟环境之间的沉浸式交互成为可能,提供实时的交互反馈。微软推出的HoloLens增强现实设备可广泛应用于工业制造、建筑和医疗等领域★◆,而Meta也推出了Meta Quest系列头显设备。此外★■★◆,苹果推出了混合现实设备Apple Vision Pro。它们通过3D渲染技术实现用户与虚拟环境的互动★■★◆★■。这项技术还被用于危险操作培训,如飞行员培训◆◆■◆。在生物医学领域★■■■★★,3D渲染可用于手术前的三维成像与模拟■◆,帮助医生规划手术路径■■◆,同时协助研究人员创建人体模型。天文学家则利用实时3D渲染构建并观察星系◆★◆◆■■、恒星等天体的三维模型◆◆,还可以创建虚拟天文馆,让公众以沉浸式的方式探索宇宙。
2021年谷歌研究所Ben Mildenhall等[2]提出隐式神经表示的神经辐射场(Neural Radiance Field,NeRF)。NeRF通过优化多层感知机的神经网络,实现从输入的稀疏视图合成复杂场景新视图。输入5D坐标(空间位置(x,y,z)和观察方向(θ,φ),输出该空间位置的体积密度和与视角相关的辐射度(颜色),通过体渲染方式合成极具真实感的新视角渲染结果。但是该渲染技术训练效率低■★◆★■,难以实现高分辨率实时渲染效果。2022年,英伟达Thomas Müller等[3]提出了Instant NeRF,采用多分辨率哈希表方式减少浮点运算和内存访问次数★■◆◆■◆,能在几秒钟内完成高质量神经图形基元训练,并能在几十毫秒内完成1920×1080分辨率的渲染。
光栅化渲染管线D图形渲染方法之一,广泛应用于游戏中。其工作原理是将三维场景的几何数据(如多边形◆■■、顶点等)转换为二维图像,即将顶点信息连接形成的基本几何图元(如三角形)映射到二维的屏幕像素上■◆◆。根据图元的顶点位置进行着色。光栅化渲染虽然高效◆◆★■★,但是相比较光线追踪等物理更精确的渲染技术,其在光线的反射、折射、全局光照等方面的表现逊色■★◆★。