AI辅助发音:没有声带,人也能说话了

具体来说,这种助听装置首先收集患者喉部肌肉运动的数据,然后借助机器学习算法对这些信号进行分析和分类,最后识别语义信息并选择相应的语音信号进行输出。

研究团队认为,该助听装置使用了一种全新的技术手段,不依赖于传统的声带,为语音障碍患者提供了一种新的沟通方式。

最后,这些预先录制的声音信号通过助听装置的驱动部分被播放出来,从而实现了对应语音信号的输出,帮助使用者进行辅助说话。

在人工智能(AI)的帮助下,一种新型柔性贴片,有望帮助部分嗓音障碍患者实现有效沟通。

加州大学洛杉矶分校生物工程系助理教授陈俊及其团队,开发了一种可以在机器学习辅助下将喉部肌肉运动转化为语音的“柔性贴片”助听装置

该装置基于磁弹性效应,使有声带障碍的患者能够通过肌肉运动来产生语音信号,从而辅助其言语功能。

具体来说,这种助听装置首先收集患者喉部肌肉运动的数据,然后借助机器学习算法对这些信号进行分析和分类,最后识别语义信息并选择相应的语音信号进行输出。

图|附在喉咙上的可穿戴柔性贴片示意图。

据介绍,这种助听装置采用了磁弹性材料,具有重量轻、可拉伸性高、信噪比高等特点,保证了设备的舒适性和可穿戴性。另外,这一助听装置也已经实现了自供电。

研究团队对 8 名没有嗓音障碍的受试者进行了测试,他们被要求在站立、行走和跑步时说出和小声说出一些单词和词组,如“Merry Christmas”或“I love you”。结果显示,该助听装置的准确率可达到 95%。

相关研究论文以“Speaking without vocal folds using a machine-learning-assisted wearable sensing-actuation system”为题,刚刚已发表在科学期刊 Nature Communications 上。

研究团队认为,该助听装置使用了一种全新的技术手段,不依赖于传统的声带,为语音障碍患者提供了一种新的沟通方式。

在患者中进一步测试后,该助听装置或使有嗓音障碍的个体能够更便捷地进行沟通和交流,进而提高整体生活质量。

会发声的柔性贴片

说话,是人际交往中最重要的组成部分,但对于有声带功能障碍的人来说,说话是一件难事。在一生中,约 30% 的人经历过至少一次的嗓音障碍。

现有的解决办法,比如手持电子喉设备或手术,或多或少地都存在影响日常生活、使用不舒适等问题。因此,我们亟需一种能辅助患者交流的可穿戴、非植入式的医疗装置,来改善声带功能障碍患者的生活质量。

在此次研究中,陈俊团队设计的柔性磁致弹性贴片,不仅能够很舒展地贴在患者喉部,还可以随参与说话运动的喉部肌肉改变形状,且不需要功能正常的声带。

同时,贴片的移动能检测到特定的肌肉运动,还能发电,让该助听装置实现自供电。这些运动随后会被转换成电信号,并由机器学习算法进行处理。该机器算法能够能识别词汇并翻译成语言信号。

图|磁弹性层结构参数。边长为 30mm。12 个半圆形单元,直径 2.16 毫米,在蛇形铜线圈中,跨度 25.92 毫米。比例尺为 10 毫米。

据论文描述,整个过程包括四个环节:信号采集、特征提取和压缩、机器学习分类、声音输出。

具体来说,该助听装置利用磁性材料与软物质系统中的磁性粉末相互作用的部分,可以导致材料的形变或运动,从而实现了喉部肌肉运动的信号采集。

随后,采集到的信号经过特征提取和压缩,利用主成分分析(PCA)将每个语音信号压缩成一个 N 阶矩阵,以减少数据的冗余,并为后续的分类做好准备。

然后,经过特征提取和压缩后的信号被输入到机器学习算法中进行分类。一旦机器学习算法对信号进行了分类,装置就会选择相应的声音信号进行输出。

最后,这些预先录制的声音信号通过助听装置的驱动部分被播放出来,从而实现了对应语音信号的输出,帮助使用者进行辅助说话。

图|机器学习辅助的无声带可穿戴语音装置

测试结果表明,即使在连续工作40分钟后,助听装置的声压和温度也没有出现明显的下降或升高。这表明了助听装置在声音输出方面的耐用性和安全性。

在耐汗性测试中,研究团队使用了人工汗液来模拟真实的使用环境。结果表明,即使在存在汗水的情况下,该助听装置的性能也表现得很稳定,没有出现明显的信号衰减。

在不同的正常谈话角度下,研究团队测试了助听装置的声音输出。结果显示,该助听装置在各种角度下都表现出了可靠的声音性能,这就使得其能够在多种真实生活场景中提供辅助言语。

然而,要想真正地帮助有声带障碍的患者,这种助听装置还存在一些局限性。

例如,研究中使用的实验样本量相对较小,且仅包括了特定年龄和性别的参与者,可能无法完全代表整个人群。未来的研究可以扩大样本量和范围,涵盖更广泛的人群。

此外,研究中使用了人工汗液模拟汗液环境,但这种环境与真实的生理环境仍存在差异。未来的研究可以更加接近真实生理环境,以更好地评估助听装置在实际使用中的表现。

充满想象的可穿戴设备

近年来,可穿戴设备的发展在不断地突破人类的想象。例如,一顶可清洗的帽子可以帮助视障人士感知交通信号灯的变化,或者一件衣服可以在穿着者浏览博物馆时充当导游。相关研究于上个月发表在 Nature 上。

上个月,同样发表在 Nature Communications 上的一项研究,其介绍的一种可穿戴情感识别系统,能够基于自供电的摩擦电原理,通过特制的传感器单元,同时感知面部和声音表达所产生的信号,从而实现对人类情感的准确识别。

再者,南开大学研究团队于去年在 Science 上发表的一篇论文,介绍了一种“冬天的取暖神器”,实现了全天太阳能供电的双向温度调节。

同样,可穿戴设备还可以化身一个可以任意变形的交互式屏幕,屏幕的显示内容与呈现形式可以根据你们的即时交互内容而实时变化,甚至让你有一种沉浸式的感官体验。

未来,当想象力坐上技术发展的快车,这些可穿戴设备将会在各种意义上让人类的生活变得便捷和美好。

参考链接:

https://www.nature.com/articles/s41467-024-45915-7 

https://samueli.ucla.edu/people/jun-chen/

本文来自微信公众号:学术头条 (ID:SciTouTiao),作者:学术头条

声明: 该内容为作者独立观点,不代表新零售资讯观点或立场,文章为网友投稿上传,版权归原作者所有,未经允许不得转载。 新零售资讯站仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。 如对本稿件有异议或投诉,请联系:wuchangxu@youzan.com
Like (0)
Previous 2024年3月13日
Next 2024年3月13日

相关推荐

  • 水温80度:AI行业真假繁荣的临界点

    我们从来没拥有过这么成功的AI主导的产品。

    (这种分析统计并不那么准,但大致数量级是差不多的)

    这两个产品碰巧可以用来比较有两个原因:

    一个是它们在本质上是一种东西,只不过一个更通用,一个更垂直。

    蓝海的海峡

    未来成功的AI产品是什么样,大致形态已经比较清楚了,从智能音箱和Copilot这两个成功的AI产品上已经能看到足够的产品特征。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时“罢工”,全网打工人都慌了

    美西时间午夜12点开始,陆续有用户发现自己的ChatGPT要么响应超时、要么没有对话框或提示流量过载,忽然无法正常工作了。

    因为发现AI用久了,导致现在“离了ChatGPT,大脑根本无法运转”。”

    等等,又不是只有一个聊天机器人,难道地球离了ChatGPT就不转了。

    大模型连崩原因猜想,谷歌躺赢流量激增6成

    GPT归位,人们的工作终于又恢复了秩序。

    未来科技 2024年6月5日
  • ChatGPT宕机8小时,谷歌Gemini搜索量激增60%

    ChatGPT一天宕机两次

    谷歌Gemini搜索量激增近60%

    ChatGPT在全球拥有约1.8亿活跃用户,已成为部分人群工作流程的关键部分。

    过去24小时内提交的关于OpenAI宕机的问题报告

    图片来源:Downdetector

    ChatGPT系统崩溃后,有网友在社交媒体X上发帖警告道:“ChatGPT最近发生的2.5小时全球中断,为我们所有依赖AI工具来支持业务的人敲响了警钟。

    未来科技 2024年6月5日
  • ChatGPT、Perplexity、Claude同时大崩溃,AI集体罢工让全网都慌了

    接着OpenAI也在官网更新了恢复服务公告,表示“我们经历了一次重大故障,影响了所有ChatGPT用户的所有计划。Generator调查显示,在ChatGPT首次故障后的四小时内,谷歌AI聊天机器人Gemini搜索量激增60%,达到327058次。

    而且研究团队表示,“Gemini”搜索量的增长与“ChatGPT故障”关键词的搜索趋势高度相关,显示出用户把Gemini视为ChatGPT的直接替代选项。

    未来科技 2024年6月5日
  • 深度对话苹果iPad团队:玻璃的传承与演变

    iPad最为原始的外观专利

    没错,这就是iPad最初被设想的样子:全面屏,圆角矩形,纤薄,就像一片掌心里的玻璃。

    2010年发布的初代iPad

    好在乔布斯的遗志,并未被iPad团队遗忘。

    初代iPad宣传片画面

    乔布斯赞同这一想法,于是快速将资源投入平板电脑项目,意欲打造一款与众不同的「上网本」,这就是iPad早年的产品定义。

    iPad进化的底色

    苹果发布会留下过很多「名场面」,初代iPad发布会的末尾就是一例。

    未来科技 2024年6月5日
  • 底层逻辑未通,影视业的AI革命正在褪色…

    GPT、Sora均为革命性产品,引发了舆论风暴,但它在上个月发布的“多模态语音对谈”Sky语音,却由于声音太像电影明星斯嘉丽·约翰逊,被正主强烈警告,被迫下架。

    华尔街日报也在唱衰,认为“AI工具创新步伐正在放缓,实用性有限,运行成本过高”:

    首先,互联网上已经没有更多额外的数据供人工智能模型收集、训练。

    03、

    如果说训练“数字人”、使用AI配音本质上瞄向的仍是影视行业固有的发展方向,那么还有另外一群人试图从根本上颠覆影视行业的生产逻辑和产品形态。

    但分歧点正在于此,电影公司希望通过使用AI技术来降低成本,但又不希望自己的内容被AI公司所窃取。

    未来科技 2024年6月5日
  • KAN会引起大模型的范式转变吗?

    “先变后加”代替“先加后变”的设计,使得KAN的每一个连接都相当于一个“小型网络”, 能实现更强的表达能力。

    KAN的主要贡献在于,在当前深度学习的背景下重新审视K氏表示定理,将上述创新网络泛化到任意宽度和深度,并以科学发现为目标进行了一系列实验,展示了其作为“AI+科学”基础模型的潜在作用。

    KAN与MLP的对照表:

    KAN使神经元之间的非线性转变更加细粒度和多样化。

    未来科技 2024年6月5日
  • 这个国家,也开始发芯片补贴了

    //mp.weixin.qq.com/s/tIHSNsqF6HRVe2mabgfp6Q
    [4]中国安防协会:欧盟批准430亿欧元芯片补贴计划:2030年产量占全球份额翻番.2023.4.19.https。//mp.weixin.qq.com/s/VnEjzKhmZbuBUFclzGFloA
    [6]潮电穿戴:印度半导体投资大跃进,一锤砸下1090亿,政府补贴一半.2024.3.5https。

    未来科技 2024年6月5日
  • 大模型的电力经济学:中国AI需要多少电力?

    这些报告研究对象(数字中心、智能数据中心、加密货币等)、研究市场(全球、中国与美国等)、研究周期(多数截至2030年)各不相同,但基本逻辑大同小异:先根据芯片等硬件的算力与功率,计算出数据中心的用电量,再根据算力增长的预期、芯片能效提升的预期,以及数据中心能效(PUE)提升的预期,来推测未来一段时间内智能数据中心的用电量增长情况。

    未来科技 2024年6月5日
  • 你正和20万人一起接受AI面试

    原本客户还担心候选人能否接受AI面试这件事,但在2020年以后,候选人进行AI面试的过程已经是完全自动化的,包括面试过程中AI面试官回答候选人的问题,AI面试官对候选人提问以及基于候选人的回答对候选人进行至多三个轮次的深度追问。

    以近屿智能与客户合作的校验周期至少3年来看,方小雷认为AI应用不太可能一下子爆发,包括近屿智能在内的中国AI应用企业或许要迎来一个把SaaS做起来的好机会。

    未来科技 2024年6月4日