Vision Pro 空间计算中的 3D 影像与建模

0 评论 3562 浏览 3 收藏 6 分钟

如何理解Vision Pro空间计算中的3D建模、3D影像技术?Apple Vision Pro 所需要的 3D 视频技术是什么?本文作者从最近国外某团队发布的一条 AR 建模应用视频切入,尝试发表了他的看法,一起来看一下。

最近国外某团队发布了一条 AR 建模应用视频,演示了使用 iPhone 手机对广场上的雕塑进行快速扫描、建模,并重新使用手机 AR 投射到广场上。

这当然不是什么新鲜的技术,他们只是把苹果 WWDC2023 上发布的ObjectCapture样例项目下载了下来,从视频上显示的 UI 界面来看,可能一行代码都没改过(我在视频评论中询问了作者,结果很快评论被删除了🤷‍♂️)。

其实早在 WWDC21 的时候苹果已经发布了Photogrammetry(摄影测量法)接口,只不过受限于移动设备芯片算力,只能通过 iPhone 或 iPad 连续拍摄物体多角度图像,然后在 macOS 中执行建模的步骤:

Vision Pro 空间计算中的 3D 影像与建模

Object Capture

Vision Pro 空间计算中的 3D 影像与建模

WWDC23-Meet Object Capture for iOS视频中, 展示了通过ObjectCapture和PhotogrammetrySession直接在 iPhone/iPad 上进行 3D 扫描建模的方法:

Vision Pro 空间计算中的 3D 影像与建模

WWDC23 10191

最近官方文档上更新了示例代码,下载后可以通过 Xcode(15.0+)编译到你的设备上,当然这对设备参数有一定的要求,至少需要 A14 仿生芯片和 LiDAR 传感器,并更新至 iOS/iPadOS 17 :

Vision Pro 空间计算中的 3D 影像与建模

实际运行后建模效果如下:

Vision Pro 空间计算中的 3D 影像与建模

目前移动设备上支持最低面数和尺寸规格的建模,如需要更细致的模型仍需要在 macOS 上执行:

Vision Pro 空间计算中的 3D 影像与建模

通过移动设备即可让用户完成对现实世界中的物体快速扫描、建模,是苹果为空间计算的内容生态提前做好的技术布局。

除了 3D 模型之外,Vision Pro 还提供了更加令人身临其境的 3D 影像功能:

3D Photo/Video

和 3D 模型相比,它更像是我们熟悉的 3D 电影,只不过是以照片或短片的形式出现。出于 Apple Vision Pro 严格的用户隐私考虑,以及它目前并不适合戴到室外场景的设计,iPhone 自然而然将成为最适合进行 3D 影像创作的工具(甚至有谣言称 iPhone 15 将会有一款 Ultra 机型可以为Apple Vision Pro 拍摄 3D 影像,但是国内媒体信源引用著名的 MacRumors 网站,而 MacRumors 引用的是 Weibo user 😀)。

当然苹果已经提前准备好了跨设备内容共享技术,包括:Continuity Camera、 Handoff 、 AirDrop 等。(不得不吐槽这个官方宣传图片,估计可以把乔布斯气活过来)

Continuity Camera

值得说明的是,虽然 iPhone 几乎必将成为 3D 影像和 3D 建模的创作工具,但两者还是有些区别。3D 影像利用的是人眼的双目立体视觉,简单理解为对(水平方向上)双眼所看内容差异的还原,例如 3D 电影拍摄时所用的双目相机(Apple Vision Pro 也是同样的原理):

而 3D 建模则是利用激光雷达(LiDAR)实现对纵向深度信息的还原,两者之间虽然通过不同的方式实现对空间信息的还原,但无论是在最终应用场景还是对信息采集设备的要求上都有所不同,因此并不能简单的将 ObjectCapture 看作是 Apple Vision Pro 所需要的 3D 视频技术。

参考:

  • 3D成像方法 汇总(原理解析)— 双目视觉、激光三角、结构光、ToF、光场、全息
  • Future ‘iPhone Ultra’ Model Could Capture Spatial Photos and Videos for Vision Pro Headset

作者:V2XR; 微信公众号:V2XR

本文由 @V2XR 原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自 Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!