如何理解Vision Pro空间计算中的3D建模、3D影像技术？Apple Vision Pro 所需要的 3D 视频技术是什么？本文作者从最近国外某团队发布的一条 AR 建模应用视频切入，尝试发表了他的看法，一起来看一下。

最近国外某团队发布了一条 AR 建模应用视频，演示了使用 iPhone 手机对广场上的雕塑进行快速扫描、建模，并重新使用手机 AR 投射到广场上。

这当然不是什么新鲜的技术，他们只是把苹果 WWDC2023 上发布的ObjectCapture样例项目下载了下来，从视频上显示的 UI 界面来看，可能一行代码都没改过（我在视频评论中询问了作者，结果很快评论被删除了🤷‍♂️）。

其实早在 WWDC21 的时候苹果已经发布了Photogrammetry（摄影测量法）接口，只不过受限于移动设备芯片算力，只能通过 iPhone 或 iPad 连续拍摄物体多角度图像，然后在 macOS 中执行建模的步骤：

Object Capture

在WWDC23-Meet Object Capture for iOS视频中， 展示了通过ObjectCapture和PhotogrammetrySession直接在 iPhone/iPad 上进行 3D 扫描建模的方法：

WWDC23 10191

最近官方文档上更新了示例代码，下载后可以通过 Xcode（15.0+）编译到你的设备上，当然这对设备参数有一定的要求，至少需要 A14 仿生芯片和 LiDAR 传感器，并更新至 iOS/iPadOS 17 ：

实际运行后建模效果如下：

目前移动设备上支持最低面数和尺寸规格的建模，如需要更细致的模型仍需要在 macOS 上执行：

通过移动设备即可让用户完成对现实世界中的物体快速扫描、建模，是苹果为空间计算的内容生态提前做好的技术布局。

除了 3D 模型之外，Vision Pro 还提供了更加令人身临其境的 3D 影像功能：

3D Photo/Video

和 3D 模型相比，它更像是我们熟悉的 3D 电影，只不过是以照片或短片的形式出现。出于 Apple Vision Pro 严格的用户隐私考虑，以及它目前并不适合戴到室外场景的设计，iPhone 自然而然将成为最适合进行 3D 影像创作的工具（甚至有谣言称 iPhone 15 将会有一款 Ultra 机型可以为Apple Vision Pro 拍摄 3D 影像，但是国内媒体信源引用著名的 MacRumors 网站，而 MacRumors 引用的是 Weibo user 😀）。

当然苹果已经提前准备好了跨设备内容共享技术，包括：Continuity Camera、 Handoff 、 AirDrop 等。（不得不吐槽这个官方宣传图片，估计可以把乔布斯气活过来）

Continuity Camera

值得说明的是，虽然 iPhone 几乎必将成为 3D 影像和 3D 建模的创作工具，但两者还是有些区别。3D 影像利用的是人眼的双目立体视觉，简单理解为对（水平方向上）双眼所看内容差异的还原，例如 3D 电影拍摄时所用的双目相机（Apple Vision Pro 也是同样的原理）：

而 3D 建模则是利用激光雷达（LiDAR）实现对纵向深度信息的还原，两者之间虽然通过不同的方式实现对空间信息的还原，但无论是在最终应用场景还是对信息采集设备的要求上都有所不同，因此并不能简单的将 ObjectCapture 看作是 Apple Vision Pro 所需要的 3D 视频技术。

参考：

• 3D成像方法 汇总（原理解析）— 双目视觉、激光三角、结构光、ToF、光场、全息
• Future ‘iPhone Ultra’ Model Could Capture Spatial Photos and Videos for Vision Pro Headset