苹果iOS18的这个功能,或将改变iPad的使用方式

图片来自哔哩哔哩博主:微机分WekiHome

目前业界公认的眼动追踪方法,有基于外观的眼动追踪方法与基于二维映射的眼动追踪方法两种。

早期关于眼动追踪及“注意力检测”专利内容

眼动追踪的未来畅想

相比传统交互方式(鼠标、键盘、触控等),眼动追踪存在这样几个优势:

自然直观:眼动追踪利用人眼的自然运动进行交互,不需要额外的操作设备。

毫无疑问,新款iPad Pro仍然是阅读、游戏、观看视频及绘画等领域的最佳平板。但随着M4芯片、妙控键盘及Apple Pencil Pro的加入,iPad比任何适合都更接近一台笔记本电脑。

那么,是否iPad会在未来渐渐成为一款带有触控功能的MacBook?

答案可能是否定的。

在最新的iOS 18中,苹果用这项“辅助功能”,为我们预言了一种关于iPad交互的新未来。

眼动追踪:从Vision Pro到iPad

近期,苹果公司公布了其iPadOS 18操作系统中新加入的“眼球追踪”功能,这项看似不起眼的功能却被放在了介绍页面之首。

说起眼动追踪,可能很多人第一个想到的还是此前苹果发布的Vision Pro,这款设备最突出的特征之一就是采用了眼动追踪的方式代替传统手柄。

用户可以通过眼球的移动,来控制应用程序,进行菜单导航,甚至是玩游戏,无需依赖触控或外部设备,大大提升了使用的便捷性,展示出了这种交互方式的魅力。

这主要得益于Vision Pro分布在内的数个红外摄像头及M2、R1双芯片的设计,使其能够利用图像处理技术提取与眼动相关的特征,并通过建立模型的方式实现眼动追踪。

Vision Pro摄像头分布,图片来自苹果

而不久前发布的新款iPad Pro在形态上的一个重要改变,就是把摄像头从窄边挪到了长边上。

摄像头模组中的点阵投影仪、泛光感应元件、前置摄像头、红外摄像头搭配全新M4芯片,如今看来或许就是在为后续计划铺路。

此次的更新描述中也显示,苹果的眼球追踪功能完全由设备上的机器学习实现,这意味着它不需要任何额外的硬件,并且可以立即在所有运行iPadOS 18的设备上使用。

图片来自哔哩哔哩博主:微机分WekiHome

目前业界公认的眼动追踪方法,有基于外观的眼动追踪方法与基于二维映射的眼动追踪方法两种。

前者主要以人脸图像或眼部图像为输入进行特征提取,然后通过机器学习将这些特征和视线方向关联起来。这种方法设备简单,只需要摄像头就能完成,但它需要大量的训练数据来建立准确的模型,从而正确地解读你的视线方向。

而另一种基于二维映射的眼动追踪方法,则主要通过分析眼球和角膜反射的相对位置变化来确定眼球运动。

由于眼球运动时角膜反射光斑位置不会变化,因此就可以作为瞳孔运动的参照点,根据两者相对位置的变化,计算实现方向。

校准时你需要注视屏幕上的特定点,系统会记录这些点和你的眼睛数据,建立一个映射模型。之后,当你看向其他地方时,系统就能通过这个模型准确地知道你在看哪里。

瞳孔-角膜反射向量法示意图,图片来自网络

如今看来,眼动追踪的原理并不十分复杂,以现有的硬件条件足以满足需求。但实际上,想要实现这一功能,苹果其实经历了很长的历程。

布局多年的最后一步

早在多年以前,苹果就开始布局眼动追踪领域,搜罗网络相关人才及技术。

2013年,苹果收购了来自以色列的PrimeSense,该公司曾为微软提供Xbox的Kinect动作控制技术提供支持。

这家公司曾推出过一款非常小巧,可嵌入手机、平板等设备的3D摄像头——Capri。这是PimeSense在2013年Google I/O大会上展示的内容:

Capri被安装在谷歌Nexus平板电脑上

Capri对真实场景进行3D建模,并获得场景内物体的长、宽、高等具体数据

通过AR技术模拟出椅子在真实空间中的碰撞信息

将3D图像传输到3D打印机完成3D打印

一同推出的还有在当时号称“全球最小”的3D感知芯片,由于不错的性能和小巧的体积,使其能够部署到手机、电视等诸多电子设备上。

2017年,苹果又收购了一家来自德国的老牌眼球追踪技术公司SensoMotoric Instruments,它曾一度是全球最大的眼动设备的生产商。

凭借“钞能力”带来的一系列关于眼动追踪的硬件及软件,苹果在同年首次将眼动追踪功能用于其Face ID中,来提升解锁的安全性。

此后数年间,苹果不断有眼动追踪相关的专利申请流出,苹果也在不断探索,这不仅促成了Vision Pro基于眼动追踪的交互方式,也催生出了其他苹果设备上关于的眼动追踪的无限可能。

早期关于眼动追踪及“注意力检测”专利内容

眼动追踪的未来畅想

相比传统交互方式(鼠标、键盘、触控等),眼动追踪存在这样几个优势:

自然直观:眼动追踪利用人眼的自然运动进行交互,不需要额外的操作设备。用户只需注视目标即可完成相应的操作,降低了学习成本,交互更符合直觉。

提升效率:眼部肌肉是人体反应速度最快的肌肉之一,通过眼动追踪,用户可以更快地选择和控制界面元素,还可以减少手部动作,提高操作速度和效率。

与其他输入方式组合:眼动追踪可以与其他输入方式结合使用,如语音控制和手势操作,提供更丰富和灵活的交互方式。

多任务处理:用户可以在执行其他任务(例如驾驶或行走时)或同时处理多项任务时,仅仅使用眼动追踪控制而不需要多余的动作,提高操作效率。

数据分析与个性化:眼动追踪可以提供关于用户注意力和兴趣的宝贵数据。这些数据可以用于优化界面设计、广告投放和用户体验个性化,使系统更加智能和用户友好。

增强现实(AR):在AR环境中,眼动追踪可以提供更加沉浸式和自然的交互体验。用户可以通过注视来选择和操作虚拟对象,提升使用体验。

也正是得益于这些优势,使其在很多具体场景中展现出了巨大潜力。

例如在很多游戏中,除了带来更加便捷的操作以外,眼动追踪也会给玩家带来更好的沉浸感,让玩家只需通过实现就能控制游戏内角色进行互动。

此外,实现眼动追踪功能后,开发者还能根据眼动数据调整场景光照、视角变化等诸多参数,适配用户个人视觉习惯,使游戏画面更加逼真。

游戏中的社交,也可以通过虚拟人物实现随玩家面部实时变化的各种动作状态,例如实现方向、眨眼、眯眼等,丰富人物的情绪表达,从各个方面提升游戏的沉浸性。

除了游戏以外,这项技术给日常生活带来的变化或许才是更值得期待的。

Vision Pro在发布后,一个重要应用场景就是教育、医疗等场景,毫无疑问这在实现眼动追踪的iPad上同样适用。

诸如飞行员模拟训练、手术模拟等职业训练领域,通过跟踪学员的眼球运动来评估决策速度和准确性。

眼动追踪可为教师提供关于学生学习过程中的注意力集中点和理解程度的实时反馈,有助于个性化教学策略的制定和改进课程内容。

还有一些场景非常适合眼动追踪这种交互方式,例如家居环境就是其中之一。通过眼动追踪,使iPad成为智能家居中控台,实现对家居的控制;或者在手上有其他事情、手上有油污等情况下提供另一种操控途径等。

虽然眼动追踪应用潜力非常巨大,但也有部分业内人士对该技术的安全性提出了质疑。

数据表明,一个人的眼部数据会暗含用户的年龄、性别、种族、情绪状态、性格特征等等多种信息。

加州大学洛杉矶分校技术、法律和政策研究所的创始人和教职联席主任John Villasenor表示:

一旦眼动追踪技术成熟,它将收集更多的信息:我们在网上阅读的内容,甚至我们的阅读过程。比如,我们是否看到了网页广告,想了一会,最后没去点击?我们在阅读整个网页的时候,眼球是怎么移动的?我们更喜欢或者避开哪些字,词语,或者主题?在未来,展示到我们眼前的广告,是否将不仅仅是取决于我们买过什么东西,还将取决于我们眼球的运动状态?‍

显然,如果能够了解用户目光注意力的持续时间、焦点偏好,再结合瞳孔大小、眼跳等多种维度的数据,想要更准确地“猜你喜欢”无疑会更加准确,隐私保护的难度也将直线升级。

对此,苹果的解答是将所有的捕捉和解读都放在设备上进行,不需要借助其他外部硬件,例如专门用于捕捉眼动数据的眼镜等设备,苹果也看不到摄像头捕捉到的任何内容。

不过这在当下用户隐私安全愈发看重、泄露信息总会不时发生的大背景下,或许仍然很难解决用户的忧虑,也很可能会成为眼动追踪功能难以推行的一个重要因素。

此外,还有一个更大的问题在于如何确保眼动追踪在不同环境下稳定、准确地运行,并能适应诸如佩戴眼镜、具有特殊眼部特征的人群等。

而且由于人的视线往往移动速度很快,运动也常常是不规则的或具有跳跃性的,这也是一个必须解决的难题。

针对这一问题,苹果或许将会用AI来解决。

一位曾负责开发Vision Pro苹果前员工Sterling Crispin透露,苹果使用了大量神经科学来开发其一些关键功能,例如通过AI来预测用户的操作行为:

AI模型会试图预测您是否感到好奇、走神、害怕、集中注意力、回忆过去的经历或其他认知状态。这些可以通过眼动追踪……测量来推断。‍

他还表示,这主要由于:

你的瞳孔在你点击之前会做出反应,部分原因是你预计点击后会发生某事。因此,可以通过检测用户的眼部行为,并实时互动的UI来创建与用户大脑的生物反馈,以创建更多这种预期的瞳孔反应。‍

他还兴奋地表示,这种加入AI算法及实时反馈的眼动追踪反馈,正在使其成为了一种“粗糙的脑机接口”,非常酷。

对iPad功能的扩展和地位的重塑

当然,对于眼动追踪成为“脑机接口”的描述或许略有夸张,但无法掩盖的是其对交互方式的扩展潜力。

iPad在诞生之初曾被寄予厚望,但至今仍然被不少人视为“买后爱奇艺”的存在,其根本原因就在于交互的贫乏。

在这方面,苹果其实已经进行了很多努力,例如Apple Pencil、妙控键盘的加入,某种程度上都可以看做是苹果在丰富平板交互方式方面进行的尝试。

不过这些努力似乎并没有从根本上改变iPad的尴尬处境,毕竟如果想要使用键盘,何不直接选择MacBook?而Apple Pencil虽然挖掘出iPad形态在专业领域的潜力,但又受限于专业领域狭窄而无法成为拯救iPad的关键。

此外,从“辅助功能”中找到新的交互,也一直是苹果挖掘产品潜力、提供新的突破的一个重要方法。

例如Apple Watch Series 9双击功能可以感应手指动作,做到无需触摸即可控制手表,在推出后受到不少用户好评,但它也曾长期隐匿在“辅助触控”的角落。

与眼动追踪很相似的交互,其实也藏在苹果的“辅助功能”的列表,例如目前很多Mac电脑的“辅助功能”中,就已经出现了“头控指针”,用户能够通过头部的移动来控制指针的移动。

随着iOS 18的更新,眼动追踪也同样很有可能也将从“辅助触控”的角落走向舞台的中央,在一段时间后成为你每天都在使用的一项重要功能,打开iPad新的交互时代。

或许,不仅仅使用手指控制,才是iPad的未来。

本文来自微信公众号:爱范儿 (ID:ifanr),作者:王萌

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
Like (0)
Previous 2024年5月28日
Next 2024年5月28日

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日