从客户服务到市场营销再到IT，一切都被认为AI是业务的新必需品。但是，尽管AI具有全部用处，但也有其弊端。在许多情况下，算法是有偏见的。偏见的一些例子是公然的，例如Google的面部识别工具将黑脸标记为大猩猩，或者执法人员用来预测累犯的算法过多地标记了有色人种。其他人则更加微妙。当Beauty.AI举行由算法判断的在线竞赛时，绝大多数“优胜者”是浅肤色的。在Google上搜索“不专业的头发”的图片，您看到的结果大多是黑人女性的照片

尽管最近在这个问题上有了更多的报道，但有些人认为在更广泛的技术社区中解决这个问题还不够，更不用说在大学或实施AI的政府和执法机构的研究中了。

Veritone首席执行官查德·斯蒂尔伯格(Chad Steelberg)说：“从根本上说，偏见，甚至没有得到解决，将成为致命的致命弱点，最终杀死人工智能。” “您不能拥有这样一种机器，即它们对世界的感知和推荐会以某种方式扭曲，使决策过程从行动中脱离出来。从基本的经济角度和信念出发，您都希望AI成为强大的组成部分未来，您必须解决这个问题。”

随着人工智能在我们的日常生活中变得越来越普遍，现在有一个小型但不断增长的企业家，数据科学家和研究人员组成的社区致力于解决AI的偏见问题。我与其中一些人进行了交谈，以了解有关当前挑战和可能解决方案的更多信息。

解决方案：算法审核

早在2010年代初期，Cathy O'Neil便是广告技术领域的数据科学家，他建立了算法，确定了用户浏览网络时看到的广告。该算法的输入包括无害的信息，例如某人使用了哪些搜索字词或他们拥有哪种计算机。

但是，O'Neil意识到她实际上是在创建用户的人口统计资料。尽管性别和种族不是明确的输入，但O'Neil的算法会根据其他提示来区分特定背景的用户。

当O'Neil开始与其他行业的同事交谈时，她发现这是相当标准的做法。这些带有偏见的算法不仅可以决定用户看到了什么广告，而且可以说是更重要的决定，例如谁被录用或是否有人可以使用信用卡。(这些观察结果已由O'Neil等人研究和证实。)

此外，在某些行业(例如住房)中，如果人们根据特定的标准制定决策，则由于反歧视法律的原因，这可能是非法的。但是，由于算法是决定因素，而性别和种族并不是明确的因素，因此可以认为该决定是公正的。

奥尼尔说：“我离开金融界是因为我想做得比仅仅因为我能做而要利用系统更好。” “我进入数据科学界时，并不这么想。我意识到它只是在以与财务运作方式类似的方式利用。但是，人们仍然认为，2012年一切都很好。那他们正在使世界变得更美好。”

奥尼尔(O'Neil)离开了广告技术工作。她写了一本书《数学毁灭性武器：大数据如何增加不平等并威胁民主》，讲述了让算法运行于世界的危险，并开始进行咨询。

最终，她选择了一个小众市场：审计算法。

奥尼尔说：“我不得不承认，直到2014年或2015年，我才意识到这也是一个商机。”

就在2016年大选之前，这一认识促使她成立了O'Neil风险咨询和算法审计(ORCAA)。

奥尼尔说：“我之所以开始，是因为我意识到，即使人们想停止这种不公平或歧视性的作法，他们实际上也不知道该怎么做。” “我实际上不知道。我没有给他们好的建议。” 但是，她想弄清楚。

那么，审核算法意味着什么?

O'Neil表示：“对此的最高级回答是，它扩大了我们对算法有效含义的定义。”

公司通常会说，如果算法正确，有效或增加利润，它就会起作用，但是对于O'Neil来说，这还不够。

“因此，当我说我要审核您的算法时，这意味着我想深入研究该算法在您所工作的环境中对您所工作的系统中所有利益相关者的作用，” O'Neil说。“利益相关者不仅是构建它的公司，也不只是部署它的公司。它包括算法的目标，因此正在接受评估的人员。甚至可能包括他们的孩子。我想更大。我想更多地考虑外部性和不可预见的后果。我想更多地考虑未来。”

例如，Facebook的 “新闻提要”算法在鼓励参与度和保持用户访问其网站方面非常出色。但是，也有证据表明，它增强了用户的信念，而不是促进对话，并促进了种族清洗。尽管这可能不是偏见的证据，但肯定不是净积极的。

现在，ORCAA的客户是要求对其算法进行审核的公司，因为他们希望第三方(例如投资者，客户或公众)信任它。例如，奥尼尔(O'Neil)已审核了一个内部西门子项目以及位于纽约的Rentlogic的房东评级系统算法。这些类型的客户通常已经步入正轨，只需要第三方的认可印章即可。

但是，O'Neil的理想客户是那些不一定想要她在那里的人。

奥尼尔说：“我将与他们合作是因为一定程度的压力，无论是监管压力还是诉讼压力，或者某种公共关系压力都会迫使他们牵手，他们邀请我加入。”

奥尼尔说，大多数科技公司追求利润高于一切，除非有后果，否则不会认真解决偏见问题。她认为在AI时代需要加强现有的反歧视保护。

奥尼尔说：“监管机构不知道该怎么做。” “我想给他们提供工具。但是，我必须先构建它们。...我们基本上构建了一堆算法，假设它们可以正常工作，现在是时候开始构建工具以测试它们是否完全正常了。 ”。

相关：人工智能很可能使金融，医学或法律领域的职业少赚钱

Pymetrics联合创始人兼首席执行官Frida Polli

解决方案：开源AI审核

许多人认为人工智能将通过确保人工评估人员不会根据他们在简历上看到的姓名或申请人的面貌来对候选人进行预判，从而解决了招聘偏见的问题。但是，有些人认为聘用算法最终会使他们的创造者的偏见永存。

Pymetrics是一家开发算法的公司，该公司根据高绩效的现有员工的特点来帮助客户填补职位空缺。它相信自己已经在内部审计工具中找到了解决偏差问题的解决方案，现在它正在与全世界共享该工具。

联合创始人兼首席执行官Frida Polli强调，消除偏见实际上是Pymetrics的次要目标。

“我们不是一个多元化优先的平台，” Polli说。“我们是一个预测分析平台。”

但是，在看到她的许多用于训练Pymetrics算法的客户雇员示例并不多变之后，消除偏见就变得很重要。

“要么您这样做，要么实际上是使偏见永久化，” Polli说。“因此，我们决定我们当然不会永久存在偏见。”

早期，该公司开发了Audit AI，以确保其算法在涉及性别和种族等因素时尽可能保持中立。如果一家公司希望担任销售职位，而其销售团队主要是白人和男性，那么未经审核的算法可能会选择具有相同特征的候选人。Polli很快指出，如果算法被加权为有利于女性或有色人种，审计AI也将建议进行调整。

一些批评家说，如果您调整招聘算法以消除偏见，则会降低门槛，但波利不同意。

“这是一种古老的批评，就像，'哦，好吧，你没有找到最好的候选人，'”波利说。“'您只是获得了最多样化的候选人，因为现在您降低了算法的工作效率。' 真正令人敬畏的是我们没有看到它。我们根本没有看到这种折衷。”

5月，Pymetrics 在Github上发布了其内部Audit AI审计工具的代码。Polli表示，使Audit AI开源的首要目标是鼓励其他人为其算法开发审计技术。

“如果他们可以从我们做事的方式中学到东西，那就太好了。显然，有很多方法可以做到这一点，但我们并不是说我们的方法是唯一的或最好的方法。”

其他动机包括简单地就此问题进行对话，并可能向其他可能改进审计AI的开发人员学习。

普利说：“我们当然不相信专有的去偏置，因为那样会破坏目标。”

“业界只需要更轻松地实际意识到，如果您不检查机器学习算法，而是在说：'我不知道它们是否会引起偏差，'我只是认为那不应该可以接受。”她说。“因为它就像沙子里的鸵鸟。”

Black在AI和社会公益机制设计领域的联合创始人Rediet Abebe

解决方案：促进多元化的AI程序员和研究人员

近年来，人脸识别的使用急剧增长，无论是用于解锁手机，在机场加快身份识别速度，还是在人群中扫描人脸以寻找潜在的犯罪分子。但是，它也容易产生偏差。

麻省理工学院媒体实验室研究员Joy Buolamwini和Timnit Gehru(从斯坦福大学人工智能实验室获得博士学位)发现，IBM，Microsoft和Face ++的面部识别工具几乎100%的时间都能准确识别白人的性别，但未能识别深色皮肤的女性占20%至34%的病例。那可能是因为训练集本身存在偏差：两人还发现，用来训练一种面部识别工具的图像中，男性占77%，白人占83%。

机器学习算法最终有偏差的原因之一是，它们反映了构建它们的开发人员的偏差(无论是有意识的还是无意识的)。整个技术行业主要是白人和男性，TechEmergence的一项研究发现，在AI和机器学习公司中，女性仅占C级职位的18%。

行业中的一些人正在试图改变这种状况。

康奈尔大学计算机科学博士学位的联合创始人Rediet Abebe说，在2017年3月，一小组计算机科学研究人员在AI中建立了一个名为Black的社区，因为“黑人研究人员的缺席”。(Gehru还是联合创始人。)

“在我通常参加的会议上，通常没有黑人。我将是唯一的黑人，”阿贝贝说。“我们意识到这是一个潜在的问题，特别是因为AI技术正在影响我们的日常生活，并且它们参与决策以及许多不同领域，”包括刑事司法，招聘，住房申请甚至是您在网上看到了哪些广告。

“所有这些事情现在都越来越受到人工智能技术的影响，当您拥有一群可能具有相似背景或相关经验的人时，可能会影响您可能从事的问题和产品的种类。在那里，”安倍晋三说。“我们认为人工智能中缺乏黑人可能会对人工智能技术如何影响黑人的生活造成不利影响。”

阿德比(Adebe)尤其热衷于让更多非洲女性加入AI。在埃塞俄比亚长大，除非从事医学工作，否则从事科学事业似乎不太可能。她自己的研究重点是研究社会问题时某些社区服务不足或研究不足-例如，缺乏有关发展中国家HIV / AIDS死亡的准确数据-以及如何使用AI解决这些问题差异。阿德贝(Adebe)还是跨学科的倡议- 社会公益机制设计的联合创始人和组织者，该倡议通过研讨会和会议分享有关AI在应对相似社会挑战方面的应用研究。

最初，Abebe认为AI中的布莱克能够租用一辆面包车来适应团队中的所有人，但是AI中的Black的Facebook组和电子邮件列表已经膨胀到来自世界各地的800多人。虽然大多数成员是学生或研究人员，但该组还包括企业家和工程师。

迄今为止，人工智能领域最大的一项举措是布莱克(Black)在2017年12月的神经信息处理系统会议(NIPS)上举办了一个研讨会，吸引了约200名与会者。多亏了Facebook，Google和ElementAI等合作伙伴，该组织才能够向与会人员提供超过15万美元的差旅补助。

安倍晋三表示，研讨会的重点是哈佛法学院首位聋哑学生盲人哈本·吉尔玛(Haben Girma)的主题演讲，安倍晋三开始考虑其他类型的多样性和交叉性。

人工智能领域的布莱克目前正在计划第二次NIPS研讨会。

作为该组织论坛和Facebook小组进行的非正式讨论的一部分，成员已申请并被接受了康奈尔大学的研究生课程，研究合作已经开始，行业盟友已上前询问如何提供帮助。人工智能中的布莱克希望为会员建立一个指导计划。

AI4ALL首席执行官Tess Posner

解决方案：向各种高中生介绍AI

非营利组织AI4ALL的目标是下一代AI奇才孩子。通过在著名大学的暑期课程中，AI4ALL使女孩，低收入学生，种族少数群体以及来自不同地理背景的人们接触到AI的可能性。

2017年加入AI4ALL担任创始CEO的苔丝·波斯纳(Tess Posner)说：“它变得无处不在且无形。但是，目前，它主要是由一群同质的技术人员开发的。这导致了种族和性别偏见的负面影响。进入AI和机器学习系统。缺乏多样性确实是造成这种情况的根本原因。”

她补充说：“另一方面，我们认为这项技术具有令人兴奋的潜力，可以解决当今世界面临的一些关键问题或关键问题，例如医疗保健或环境问题，教育。具有令人难以置信的积极潜力。”

AI4ALL于2015年作为斯坦福大学的夏令营开始在斯坦福大学进行试点，目前在全国六所大学提供课程：加利福尼亚大学伯克利分校，波士顿大学，卡内基梅隆大学，普林斯顿大学，西蒙·弗雷泽大学和斯坦福大学。

参与者将接受技术培训，动手学习，实际应用演示(例如无人驾驶汽车)，指导以及与该领域专家的交流。今年，特邀发言人包括特斯拉，谷歌和微软等大型科技公司的代表，以及H20.ai，Mobileye和Argo AI等初创公司的代表。

这些大学提供了三到五个“有益于人工智能”的项目，供学生在计划期间进行。最近的例子包括开发算法来识别假新闻，预测流感的感染路径并绘制乌干达的贫困状况。

对于许多参与者而言，AI4ALL夏季计划只是一个开始。

波斯纳说：“我们谈论的是希望创建AI的未来领导者，而不仅仅是未来的创造者，这确实可以塑造这项技术的未来。”

AI4ALL最近为暑期课程毕业生试行了AI奖学金计划，以接受资金和指导以开展自己的项目。一名学生的项目涉及跟踪西海岸的野火，而另一名学生则根据祖母因救护车未及时到达而死亡的电话严重程度，研究如何优化救护车调度。

完成该计划后，其他毕业生也继续创建自己的企业，而AI4ALL提供“种子资助”以帮助他们入门。通常，这些冒险涉及将其他自己的孩子暴露在AI之下。例如，三个校友开办了一个名为creAIte的研讨会系列，以使用神经艺术向初中女生传授有关AI和计算机科学的知识，而另一个校友则举办了一个名为Girls Explore Tech的放学后研讨会。

另一位毕业生与人合着了一篇关于使用AI改善外科医生技术的论文，该论文于2017年在NIPS的机器学习健康研讨会上获奖。

“我们有很多行业合作伙伴都看过我们学生的项目，然后他们去了，'哇。我不敢相信这个项目有多么惊人，严谨和先进。” 这就改变了人们对于人才的外观以及AI的真正面貌的看法。”

上个月，AI4ALL宣布将大范围扩大其业务范围：该组织从Google获得了100万美元的赠款，用于创建其课程的免费数字版本，该版本将于2019年初启动。

解决方案：构建下一代AI

串行企业家Chad Steelberg在1980年代高中时期首次涉足AI，当时他从事算法的研究，以预测蛋白质的三维结构。当时，他觉得AI的能力已经达到了平稳期，最终他在不同领域创立了多家公司，并于2006年将其出售给了Google。

几年后，Steelberg从Google的一些朋友那里得知AI将会取得巨大的飞跃-可以真正理解和制定决策的算法，而不是简单地计算数据并吐出结果。Steelberg看到了这种潜力，他用自己的资金投资了1000万美元创建了Veritone。

Veritone的aiWARE是AI的操作系统。它取代了计算机(如传统操作系统)之间的软件和硬件之间的通信，它可以接收用户的查询(例如“转录此音频剪辑”)，并找到可用于处理该查询的最佳算法，而无论该算法是Google Cloud语音转文字，Nuance或其他转录引擎。截至目前，aiWARE可以扫描从翻译到面部识别的16个类别中的200多个模型。

当算法具有足够狭窄的训练集时，它们的效果最佳。例如，如果您尝试训练一种算法来下棋，下棋和跳棋，那么这三种算法都会失败。Veritone告诉与之合作的公司为非常狭窄的用例(例如个人资料中的头像)创建算法。AiWARE将为特定查询找到正确的算法，甚至可以为同一查询触发多种算法。Steelberg说，当一个音频剪辑使用多种语言时，aiWARE返回的翻译比平台上最好的单个引擎要准确15%到20%。

设计用于解析文本和语音的算法(例如转录和翻译)是另一个容易产生偏差的领域。一项研究发现，算法将非裔美国人的书面白话英语归类为“非英语”的比率很高，而《华盛顿邮报》的一项调查发现，语音助手(如亚马逊的Alexa)很难理解口音。

Steelberg说，尽管它并不是为了消除偏见而创建的，但aiWARE最终确实做到了。就像人脑能够获取所有学习到的信息并针对每种情况选择最佳响应一样，aiWARE会了解哪种模型最适合用于每个查询。

“我们使用aiWARE对每个模型进行仲裁和评估，以了解他们认为正确的答案是什么，然后aiWARE正在学习选择曲线上每个点值得信任的模型集。”

如果算法有偏差，这不是问题。“有问题的是，当您尝试使用一个大型的整体模型解决问题时，” Steelberg说。AiWARE正在学习识别哪些模型存在偏见以及如何偏见，并解决这些偏见。

导致AI偏差的另一个因素是，许多算法将忽略训练集的一小部分。如果在一百万个条目的数据集中有三个不同的条目，则在对某些查询执行可怕的操作时，您仍然可以总体上获得较高的准确性。这通常是面部识别软件无法识别有色人种的原因：训练集主要包含白脸的图像。

Veritone告诉公司将训练集​​分解为微观模型，然后aiWARE可以插值以创建类似的示例。

Steelberg说：“实际上，这实际上是在膨胀该人群，您现在可以在膨胀的人群中训练模型，以学习该过程。”

他说，通过使用小型培训集，aiWARE可以针对客户感兴趣的任何特定子类别(例如，公司中的所有员工)，以高达90%的准确度构建面部识别模型。

Steelberg说，他相信像aiWARE这样的智能AI比人工审核员更有可能消除偏见。首先，人类可能很难识别有缺陷的训练集。他们也可能给流程带来自己的偏见。

Steelberg说，对于可能包含“数千万PB数据”的大型AI模型，人工审核员是不切实际的。“庞大的规模使其难以想象。”

---

版权说明： 本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。

---

标签：