NeRF衍生项目,谷歌用Waymo自动驾驶汽车打造3D数字城市,辅助解析落实
前不久,谷歌公布了一系列与AR导航、沉浸式立体地图相关的更新,让我们进一步了解谷歌3D地图的发展路径,包括基于海量街景数据合成3D,以及后续会在街景相机上加入LiDAR模组,来实现3D定位等等。
相比于Niantic、Snap等初创公司,谷歌LBS AR、3D地图领域更具优势,仅背靠谷歌地图、谷歌地球就拥有大量的环境和定位数据,因此扩展3D地图布局将更加顺利。
不仅如此,谷歌已经开始从多方面着手收集3D的环境数据。比如,谷歌母公司Alphabet旗下的自动驾驶汽车项目Waymo,近期就公布了图像合成模型NeRF的衍生版本:Block-NeRF,其特点是可通过自动驾驶汽车的传感器来收集街区的环境数据,并根据这些数据来合成大规模的3D场景。
关于Block-NeRF
据了解,NeRF简单来讲就是神经辐射场,原理是使用MLP神经网络隐式的学习一个静态3D场景,并通过静态图像,去渲染大规模3D场景的任意角度。
与此前谷歌的其他NeRF模型相比,Block-NeRF采用自动驾驶汽车Waymo用传感器收集的路面数据,来生成区域神经辐射场,并组合成3D场景。Block-NeRF不局限于车辆经过的路面场景,也可以3D重建完整的大规模环境。比如,Waymo利用Block-NeRF渲染了旧金山阿拉莫广场街区(约半平方公里),其中包括35个街区NeRF模型。
经过三个月时间,Waymo捕捉280万张图片。一些场景甚至需要超过13小时车程(1330次驾驶)收集的数据。Waymo表示:我们构建了迄今为止最大的神经辐射场,可渲染出旧金山的完整街区。
Block-NeRF的亮点是比NeRF方案渲染的环境规模更大,其规模可跨越城市多个街区,因此有潜力渲染城市规模的3D场景。实际上,Block-NeRF是将多个街区分解为单独的NeRF,并分别训练这些分区NeRF,然后通过进行组合而生成完整场景。
免责声明:本文章由“知识和经验”发布如果文章侵权,请联系我们处理,本站仅提供信息存储空间服务如因作品内容、版权和其他问题请于本站联系