爱科技网

Siri与Alexa和Google Assistant语音技术的研究表明培训数据存在偏见

小编发现不少朋友对于Siri与Alexa和Google Assistant语音技术的研究表明培训数据存在偏见 这方面的信息都比较感兴趣,小编就针对 Siri与Alexa和Google Assistant语音技术的研究表明培训数据存在偏见整理了一些相关方面的信息在这里分享给大家。

一项新的研究发现,来自大型科​​技公司的语音识别系统很难理解黑人所说的单词,而白人很难理解。

这些类型的系统通常用于数字助理(如Siri)以及诸如隐藏式字幕和免提控件之类的工具。但是,与任何机器学习系统一样,其准确性仅与数据集一样好。

斯坦福大学在《美国国家科学院院刊》上发表的一项研究显示,由苹果,谷歌和Facebook等公司开发的自动语音识别(ASR)系统在抄录非裔美国人的语音时,出错率往往高于白人。

研究人员进行了115次人工转录访谈,并将其与语音识别工具进行的访谈进行了比较。在这些对话中,有73次与黑人演讲者进行对话,而42次与白人演讲者进行对话。

研究小组发现,ASR系统转录黑色语音时,“平均单词错误率”几乎翻了一番(35%),而转录白色语音时为19%。

为了排除词汇和方言的差异,研究人员还按性别和年龄匹配了语音,并让讲者说出相同的单词。即使这样,他们发现黑色扬声器的错误率几乎是白色扬声器的两倍。

“鉴于短语本身具有相同的文本,这些结果表明,ASR表现中的种族差异与白人和黑人讲话者的发音和韵律差异有关,包括节奏,音调,音节重音,元音持续时间和韵律差异。”研究读。

尽管白人男性和女性之间存在相似的差异,但非裔美国人男性的错误率往往高于女性。对于大量使用非裔美国白话英语(AAVE)的演讲者来说,准确性是最差的。

当然,机器学习系统不能像人们一样受到偏见。但是,如果他们所训练的数据缺乏多样性,那么它们的准确性和性能将得到体现。该研究得出的结论是,主要问题似乎是在训练机器学习模型时缺少来自黑扬声器的音频数据。

值得注意的是,研究人员使用了这是一款利用Apple免费语音识别技术定制设计的iOS应用,尚不清楚Siri是否使用该精确的机器学习模型。该测试也在去年春季进行,因此此后该模型可能已更改。

虽然研究专门针对黑白扬声器,但数字助理也很难理解其他口音。《华盛顿邮报》

(The Washington Post) 在 2018年发表的一篇报道发现,像Alexa或Google Assistant这样的数字助理很难理解具有各种口音的人。通常,对大多数科技巨头所在的西海岸的演讲者最了解。

而且在2019年,美国联邦研究人员还发现了种族偏见的广泛证据 在将近200种面部识别算法中,缺乏数据集的多样性会在所有类型的机器学习平台中引起类似的问题。