机器之心专栏
作者：HuanWang
神经辐射场(NeuralRadianceField,orNeRF)[Mildenhalletal.,ECCV,]开启了用神经网络表征三维场景的新范式。NeRF这两年在学术界和工业界都很火热,但NeRF一个比较大的缺点是,渲染速度慢。虽然NeRF用的神经网络(11层的MLP)本身很小,但是渲染一个像素需要采集一条光线上的很多点(上百个),这导致渲染一张图的计算量非常大,如下图所示:用PyTorch在单张NVIDIAV显卡测试,渲染x的图片就需要6.7s的时间,这显然不利于NeRF在业界落地(例如各种AR/VR设备,metauniverse等)。
学术界已有不少研究工作来加速NeRF。比较流行的一种方式是,给定训练好的NeRF,采用更高效的数据结构进行存储,如SparseVoxelOctree[Yuetal.,ICCV,].尽管加速很可观(如[Yuetal.,ICCV,]实现了x的渲染加速),但这种数据结构也破坏了NeRF作为场景表征存储小的优点。譬如,原始NeRF网络仅仅2.4MB大小就可以存储一个场景,而采用SparseVoxelOctree则需要1.93GB[Yuetal.,ICCV,],这显然难以在端上应用。
因此,如何加速NeRF渲染并维持其存储小的优点(简言之:小且快),仍然是当前的研究热点,也是本文的动因。
Arxiv: