分析:关于苹果WWDC 2018 的AI人工智能技术及直播应用
这篇文章是从产品经理的角度,去浅谈一下对WWDC大会所涉及的人工智能。也是当时面试欢聚 YY AI产品经理其中六轮面试中第三轮中一些问题的梳理总结,后面得了Offer。(由于利益关系去掉了一些内容)对AI产品经理的相关面试和准备有兴趣的小伙伴,欢迎关注~
目录:
一、苹果发布会-涉及智能科技
1. ARKit 2
USDZ
Measure
乐高+ARkit2(多人共享)
2. 人脸识别升级——Memoji动画表情
3. Facetime
4. 照片应用
图像识别
For You
5. Siri-Shorcut
二、AI 产品经理面试谈到的技术
1. 游戏直播
2. 对战游戏
3. 户外寻宝
谈这个和AI PM有什么关系呢?
因为AI PM是需要将AI技术与现有业务场景结合、落地产品化的,而2018 WWDC大会是恰逢app store 10周年,从大会内容及开发者角度去看,这对互联网、人工智能行业都蛮多意义的。
WWDC 2018发布会侧重是“软”功能上的升级,这或许是迎合App Store10周年,也可能是生态布局的铺垫。从发布会的功能看,主要是以苹果为枢纽,联结开发者和最终用户。
其中大会功能点大概梳理如下:
一、苹果发布会:涉及智能科技
1. ARKit 2
苹果发布会中,首先介绍了 ARKit 2,并公布了新的 AR 的专用文件格式 USDZ,ARKit 2主要有两项更新:与Pixar合作的新的文件格式USDZ和多人共享AR。
(1)USDZ
USDZ是一个独立的AR文件格式,可以直接在 iOS 系统中打开与分享,也可通过苹果的File、Safari、mail、message等应用分享。所以当打开文件,将AR效果直接置于现实环境中,就可以完成便捷的AR效果体验。而Adobe、Autodesk、Sketchfab、Quixel这些工具都可以创作出USDZ格式的AR文件。
那么,不会使用Unity等专业的软件设计工具的非专业人员也能创作出AR内容,这将会极大地丰富AR内容生产。
(2)Measure
同时,苹果还推出了一款名为Measure(测量)的应用,顾名思义,就是在AR中测量物体尺寸的工具。它可以利用 AR 交互和 AI技术来测量现实物体的长度,还可以自动感应照片等平面物体并计算它们的面积。
(3)乐高+ARkit2(多人共享)
ARKit 2可以实现更好的识别技术,并且增加了多用户支持,可以多人共享一个 AR 环境,譬如:两个人一起玩同一个 AR 游戏。这次苹果与乐高达成合作,现场演示如何在乐高建筑模型上体验直接生成的 AR 游戏舞台,将虚拟与显示结合,大大提升游戏的沉浸感,还可以两个人一起。其中包括更好的细节渲染、两台 iOS 设备在 AR 场景中进行交互的场景。
2. 人脸识别升级:Memoji动画表情
去年,苹果的人脸识别技术,加上iPhone X的摄像头和3D结构光处理优势,苹果发布了人脸识别动态emoji,也即Animoji。今年,Animoji也有升级,名字叫做Memoji。
全新的功能Memoji,用户可以制作属于自己的动话表情,新增 Memoji(根据人的面部容颜自定义多种 Emoji),自拍新增多种 Animoji 滤镜。
原理还是人脸识别动态捕捉用户表情然后转化为3D emoji,这次苹果提供了大量的数据库,从发型、肤色到眼镜等装饰品,便于用户创造属于自己的Animoji形象,也即Memoji。此外,Memoji在生成时,摄像头可以使用各种滤镜,在生成前给出更多效果。
(这个功能的理想形态还是用结构光扫描人脸,自动生成一个 3D 形象,现在还是需要完成类似“捏脸”的过程。)
用户可以使用这个功能,录一段话,生成一个用自己的声音和表情说话的Memoji,并将它发送给朋友。
3. Facetime
新增 Group Facetime 功能,与 Group Chat 整合,最多支持 32 人实时通话。同时 Facetime 新增实时 Animoji 滤镜。这一功能在 iPad、iPhone 和 Mac 上可用。
交互界面经过了重新设计,在讲话中的人的窗口会放大,同时上文提到的滤镜和贴纸也可以应用到视频聊天中。(社交通信产品会不会跟进这一功能呢?)
4. 照片应用
(1)图像识别
提供了图像识别功能,照片也可以根据事件、地点、事件进行分类聚合。在你搜索之前,系统会给你提供搜索建议。对各种各样的个性化标签(地名、场景等)搜索,并且可以自动生成的个性化的 For You 照片专辑——毫无疑问运用了端侧人工智能。
(2)For You
新功能“For You”,是专门为用户生成的推荐集,有“去年今日”等不同的主题。另外,iOS 12 在照片分享上也会给出建议,点开用户可以首先快速勾选这一次旅行中的哪些照片可以分享,然后系统还会根据通信录头像、以及分享照片中的人物推荐你在分享时候需要提醒谁。最后被你提醒的用户还能直接访问你旅行的整个照片集,可以说是一整套“异常自动化”的旅程分享产品了。
5. Siri-Shorcut
iOS 12 的解决方案让用户“教育” Siri。去年,效率工具 Workflow 被苹果收购,如今,它被深度整合到了 Siri 当中。现在你可支持自定义唤醒词,并且可以实现一系列的相关操作。
这项功能被苹果命名为 Shorcu。简而言之,有了Siri Shortcuts,每个应用都可以将一些快捷功能提供给Siri,让Siri以更智能、更便捷、更符合用户行为习惯的方式执行。
设定一系列操作,并且通过一个命令激活完成,提高效率。例如:通过设定短语“I lost my keys”帮助寻找钥匙的应用Tile App可以添加一个Shortcuts给Siri。然后当你说出这句话时,Siri可以自动打开Tile,并且在Siri的界面直接调动寻找钥匙这一功能,而无需去到应用里。
可以想象以后,假设对 Siri 喊“我要回家”,得到反馈后,会完成路线导航—推荐车载音乐—打开家中空调等一系列操作。
同时,也加入了建议功能,Siri 会根据用户习惯给出一些建议,并且添加到锁定屏幕。比如:若你每天在应用程序中做同样的事情,Siri会记下来并提醒你;比方说:早上点杯你过去经常购买的咖啡,或是当你上班迟到了,可以触发操作给同事们都发送一条消息。你可以“分享”应用添加这个流程当中,让 Siri 更聪明。
二、AI 产品经理面试谈到的技术
谈到发布会能共享场景的技术应是ARKit2的多人分享,苹果在AR上的技术进步其实也是来自于AI技术的发展,ARKit所需要的环境识别、3D渲染其实都需要AI技术提供支持。全新的Memoji功能也说明了苹果的AR和AI 不分家的特点。
基于此联想一些能落地到直播中的场景:
1. 游戏直播
首先,通过设计一些通用的、有趣简单的关卡游戏。再让主播开启AR游戏模式,扫描现实中某种符合识别的、有趣有挑战性的场景。最后利用AR对现实场景进行增强游戏化。
用户能观看不同场景下的游戏化AR直播,同时游戏本身也能趣味性、强互动性,能给予主播相关的提示、奖励等等。
2. 对战游戏
通过连麦的方式,可以开启游戏的对战模式。让主播上传某场景作为主场地,邀请其他主播进行PK。
3. 户外寻宝
去年YY开启过户外AR寻宝,其互动模式大概是主播寻找+用户提示, 若利用这技术,或许能支持多个主播参与,进行小队合作等。可以是各主播都有独特的技能、钥匙,当其他主播发现了宝箱或者专属主播的藏宝图,可以进行扫描分享,以此邀请主播进行开启,一并完成任务。
以上几点就是关于2018苹果 WWDC大会关于AI相关技术与落地的个人总结内容,希望能帮助在AI理解上有所启发,谢谢。
本文由 @凤城狂客 原创发布于人人都是产品经理。未经许可,禁止转载
题图来自网络
谢谢