Niantic：将来AR重要场景，VPS寡包3D地图到底是啥？

几个世纪以来，人们利用指南针、地图、星盘和象限仪来找路，而在过往二十年里，GPS成为了支流的定位系统，而且与手机连系后，让人们的出行越来越便利。而跟着摄像头等手艺开展，我们也起头看到视觉定位手艺的兴起，好比谷歌地图就推出AR导航功用，将指示标定位在实在场景中。与此同时，Niantic做为一家开发LBS AR游戏的公司，也起头构建基于视觉数据的3D地图平台。与谷歌差别的是，Niantic并非坐拥大规模数据的老牌科技巨头，其获取数据的体例更多是通过游戏玩家上传。

近期，Niantic首席科学家Victor Priscariu和工程总监Pierre Fite-Georgel深度分享了，通过《精灵宝可梦GO》等LBS AR游戏获取玩家寡包数据的过程，以及若何将3D扫描数据处置成可用于开发LBS AR的地图。

据青亭网领会，Niantic旗下的Lightship VPS视觉定位平台目标是供给一个切确、动态的3D世界地图，容许AR开发者在物理空间中添加、固定AR内容。Niantic指出，假设GPS是实在空间的定位体例，那么VPS更像是虚拟空间的定位体例，它的优势是精度更高，可切确到厘米，并且能够用来开发继续性的AR内容，将虚拟视觉效果和物理空间更好的合成。

VPS定位的难点

最起头，Niantic的LBS AR游戏《精灵宝可梦GO》是基于谷歌GPS地图定位，而如今该公司决定从头起头构建基于视觉的VPS地图，而那将需要征服许多手艺挑战，需要一段时间才气完美。Niantic指出，3D AR地图将会动态改变，因为它需要实时更新，反映出物理世界的改变，而目前，根本的开发模块已经到位，AR地图已经在构成。

展开全文

开发3D世界地图要比原则数字地图要更难，因为3D地图笼盖的物理空间更大，出格是在公园、城镇广场等户外场合。另一方面，在三个维度上重建空间将需要多个角度的大量图像，此中需要包罗差别的时间、气候和季节，如许才气模仿动态改变的场景。除此之外，还需要识别场景中的陆地、水域、天空等元素，并计算出它们与人之间的间隔关系。

除了手机视觉图像外，Niantic还会搜集GPS的经纬度和高度，以及手机的加速计和陀螺仪的传感信息（目标是为了定位扫描人的视角、手机位置和标的目的）。假设玩家的手机有LiDAR传感器，即可以拍摄四周情况的高辨认率3D视图，如许就能够更好确实定情况中物体的间隔。

钟塔扫描演示，完成对钟塔的扫描需要几分钟，从多个角度拍摄

为了庇护隐私平安，Niantic在获得数据后，会在后端过滤掉数据中包罗小我身份特征的信息，好比车商标、人脸等等。此外，还会利用AI模子来掌握扫描数据的量量，确保扫描数据的照明前提优良，图像清晰，没有遮挡，或是相机位置准确，没有失焦。假设是在室内拍摄的图像，也会被过滤掉。

通过寡包构建3D地图

3D空间扫描需要在差别的视角、位置和光照前提下看察空间中的每一个点，如许生成的3D模子才气模仿改变和用户行为。然而，单靠一家公司的力量很难搜集到足够多的数据。因而，Niantic期看通过《精灵宝可梦GO》和《Ingress》的玩家来搜集3D地图数据，其认为，一旦游戏玩家到达必然程度，即可能上传规模化的AR地图和Wayspot，并因而获得游戏内奖励。

据悉，Wayspot指的是一些可公开拜候的对象或位置，好比雕像、艺术安装、公园或喷泉等等。Niantic为一些Wayspot设定优先级，鼓舞玩家往扫描本身所在区域，或是需要更多扫描的处所。目前，Niantic数据库中已经包罗了1700万个Wayspot兴致点，此中有12万个撑持3D VPS定位，而那些Wayspot将来将成为AR地图重要的一部门。

扫描的过程如下：当游戏玩家抵达目标的Mapping Field Research扫描点后，游戏系统会提醒他们停止3D扫描。扫描过程需要围绕目标走动，并拍摄多个20-30秒的短视频，每个扫描点大约需要摘集300帧图像。为了确保数据的可靠性和多样性，系统会要求多小我扫描统一个Wayspot，如许就能领会那个地点在差别气候下、差别型号手机扫描的效果差别。

3D地图数据处置过程

现实上，构建一个可运行AR的大规模3D地图需要多种手艺协同，包罗数据管道、人工智能、算法、办事器收集，以及不竭更新的数据。Niantic以寡包的形式搜集扫描数据，数据次要由玩家从AR游戏中上传。玩家上传数据后，Niantic的AI地图系统会将视频数据合成成零丁的帧，并从中提取图像、GPS定位和传感器数据，以及相机与画面中物体的相对位置。

详细来讲，开发VPS地图次要分为五个阶段：

1）拆分扫描，来确定Wayspot的位置；

2）位置映射：从朋分的3D扫描地图中提取位置和标的目的信息；

3）比照3D映射图之间的关系，确保它们之间连结持续；

4）3D密集重建，那个步调生成的是供计算机理解的深度数据地图，那些数据包罗每个像素从相机到对象之间的间隔，可用于生成3D网格；值得重视的是，开发者可通过8th Wall WebAR平台获取那些数据，间接用来开发LBS AR利用；此外，也能够通过Wayfarer东西添加新的Wayspot兴致点和AR地图；

5）添加上下文和语义信息：在3D深度图根底上，还能够对树、空中、建筑物等目标停止分类，如许就能够搀扶帮助AR实现与物理空间的天然交互。

在博文中，Niantic还强调了云办事的重要性，并指出将来的AR地图需要依靠云计算，因为构建世界规模的动态3D地图将需要强大的处置才能，才气同时计算和处置数百万次扫描成果。参考：Niantic