Rev.ai的偏见较少(但需要做更多的工作)
几个月前,Rev的演讲头,米格尔·杰特写道这个媒介帖子关于他和Rev的重要性,在自动语音识别AI中讨论了偏见。
这是一个很好的阅读,你可以在上面看看。这是TL;博士:AI中存在性别和种族的种族群体的偏见,这并不好。我们知道它是如何发生的。教导模型的数据集通常不同样包含所有种族,性别和民族群体。Rev不仅意识到这个问题(这既简单又难以克服);我们正在积极寻找解决方法和所有人的方法。
最近,一个潜在客户来到我们来说,他们也想要特别认识到任何偏见。
因此,他们让我们参加测试,将我们的单词错误率(WER)与三个主要的语音到文本竞争对手进行比较(如高尔夫,较低的分数更好)。通过符合名副其实的手持式运行Rev的语音到文本AI后,它们提供了以下数据(在给出竞争优势Rev提供的匿名条件下)。
我们很自豪地说这些是种族和性别的结果。
图1
图2.
我们应该注意到环境因素可以还影响力分数。
社会经济考虑例如,如果某些人口统计学具有购买可以为它们提供更好的麦克风的手段和更好的音频质量,则可以发挥作用。凭借这个事实,给定的人口统计的WER得分可能会更好,而不是扬声器口音固有的任何偏差。
在上述测试的情况下,未来客户端包括超过800个音频剪辑,长度为1-4分钟,试图考虑这些环境因素和/或异常。
在任何事件中,在这种严格的测试后,两件事仍然清楚。
首先,因为我们已经制定了基于性别和种族的A.I.偏见优先,我们显然看到了结果。
其次,只要存在差距,就有仍有工作要做。
在未来几周,我们将更多地发布更多地发布所谓的“重音稳健性”,这将如何扮演A.I.公平,以及什么改革正在做的事情。
我们期待着继续我们走向更公平的ASR模型,并坦诚和开放我们可以改进的地方和如何改进。