人工智能偏见（AI Bias）是什么及有哪些类型，例子和解决办法

人工智能偏见（AI Bias）

随着越来越多的个人和企业看到人工智能在各种使用案例中的好处，人们对人工智能（AI）的兴趣正在增加。然而，围绕人工智能技术也有一些合理的担忧：

人工智能会不会对人类构成威胁？对于这一点，人工智能首先需要超越人类的智慧。专家预计这不会在未来30-40年内发生。
人工智能会对我们的工作构成威胁吗？是的，到2030年，44%的低学历工人将面临技术失业的风险。
我们能相信人工智能系统的判断吗？还不行，由于训练数据的偏差，AI技术可能会继承人类的偏见

在这篇文章中，我们专注于人工智能偏见，并将回答有关人工智能算法中的偏见的所有重要问题，从人工智能偏见的类型和例子到从人工智能算法中消除这些偏见。

ai bias谷歌搜索趋势

什么是人工智能偏见？

AI偏见是机器学习算法输出中的异常现象，是由于算法开发过程中的偏见假设或训练数据中的偏见造成的。

AI偏见的类型有哪些？

人工智能系统包含偏见，原因有二：

认知偏见： 这些是无意识的思维错误，会影响个人的判断和决定。这些偏见产生于大脑试图简化处理关于世界的信息。心理学家已经对180多个人类偏见进行了定义和分类。认知偏见可能通过以下两种方式渗入机器学习算法中：设计者在不知情的情况下将其引入模型中；训练数据集包括这些偏见。
缺少完整的数据： 如果数据不完整，它可能不具有代表性，因此它可能包括偏见。例如，大多数心理学研究包括本科生的结果，而本科生是一个特定的群体，并不代表整个人口。

人工智能在医疗应用中的设计和使用中的不平等和歧视

图1. 人工智能在医疗应用中的设计和使用中的不平等和歧视（Source: British Medical Journal）

人工智能是否会完全不偏不倚？

从技术上讲，是的。一个人工智能系统可以像其输入数据的质量一样好。如果你能把你的训练数据集从关于种族、性别或其他意识形态概念的有意识和无意识的假设中清理出来，你就能建立一个人工智能系统，做出无偏见的数据驱动的决定。

然而，在现实世界中，由于我们上面提供的相同论据，我们不期望人工智能在短时间内完全不偏不倚。人工智能可以像数据一样好，而人是创造数据的人。人类有许多偏见，而且正在进行的对新偏见的识别正在不断增加总数。因此，可能不可能有一个完全没有偏见的人类头脑，所以人工智能系统也是如此。毕竟，人类正在创造有偏见的数据，而人类和人类制造的算法正在检查数据以识别和消除偏见。

对于人工智能的偏见，我们能做的是通过测试数据和算法，并以负责任的人工智能原则开发人工智能系统，将其降至最低。

如何修复人工智能和机器学习算法中的偏见？

首先，如果你的数据集是完整的，你应该承认，人工智能的偏见只能是由于人类的偏见而发生的，你应该专注于从数据集中消除这些偏见。然而，这并不像听起来那么容易。

一个天真的方法是从数据中删除受保护的类别（如性别或种族），并删除使算法产生偏见的标签。然而，这种方法可能不起作用，因为删除的标签可能会影响对模型的理解，你的结果的准确性可能会变得更糟。

因此，没有快速消除所有偏见的方法，但有像麦肯锡这样的顾问提出的高水平建议，强调了人工智能偏见最小化的最佳做法：

人工智能偏见最小化的最佳做法

Source: McKinsey

修复人工智能系统中的偏见的步骤：

1. 深入研究算法和数据，评估哪里的不公平风险高。比如说：

检查训练数据集是否有代表性，是否足够大，以防止常见的偏见，如抽样偏见。
进行子种群分析，包括计算数据集中特定群体的模型指标。这可以帮助确定模型的性能在不同的子群体中是否是相同的。
随着时间的推移监测模型的偏差。ML算法的结果会随着它们的学习或训练数据的变化而改变。

2. 在你的整体人工智能战略中建立一个去偏策略，包含技术、操作和组织行动的组合：

技术策略涉及的工具可以帮助你识别潜在的偏见来源，并揭示数据中影响模型准确性的特质
运营策略包括利用内部 “红队 “和第三方审计师改善数据收集流程。你可以从谷歌AI关于公平性的研究中找到更多的做法
组织策略包括建立一个透明地展示指标和流程的工作场所

3. 在你识别训练数据中的偏见时，改善人类驱动的流程。模型的建立和评估可以突出那些已经被注意了很久的偏见。在建立人工智能模型的过程中，公司可以识别这些偏见，并利用这些知识来了解偏见的原因。通过培训、流程设计和文化变革，公司可以改善实际流程以减少偏见。

决定在哪些用例中应优先考虑自动决策，哪些用例中应由人类参与。
遵循一个多学科的方法。研究和开发是最大限度地减少数据集和算法中的偏差的关键。消除偏见是一个多学科的战略，由伦理学家、社会科学家和最了解每个应用领域细微差别的专家组成，在这个过程中。因此，公司应寻求在其人工智能项目中纳入此类专家。
使你的组织多样化。人工智能社区的多样性使偏见的识别变得容易。首先注意到偏见问题的人，大多是来自该特定少数民族社区的用户。因此，保持一个多元化的人工智能团队可以帮助你减轻不必要的人工智能偏见。

以数据为中心的人工智能开发方法也可以帮助尽量减少人工智能系统中的偏见。

减少偏见的工具

AI Fairness 360

IBM发布了一个开源库，用于检测和减少无监督学习算法中的偏见，目前在Github上有34个贡献者（截至2020年9月）。该库被称为AI Fairness 360，它使AI程序员能够

用一套全面的指标测试模型和数据集的偏差。
在12个打包算法的帮助下，减轻偏见，如学习公平代表，拒绝选项分类，差异影响去除器。

然而，AI Fairness 360的偏见检测和缓解算法是为二进制分类问题设计的，这就是为什么如果你的问题更复杂，它需要扩展到多类和回归问题。

IBM Watson OpenScale

IBM的Watson OpenScale在人工智能做出决定时实时进行偏见检查和缓解。

Google’s What-If Tool

使用What-If工具，你可以在假设的情况下测试性能，分析不同数据特征的重要性，并在多个模型和输入数据的子集以及不同的ML公平性指标上可视化模型行为。

有哪些人工智能偏见的例子？

消除呼叫中心的选定口音

湾区初创公司Sanas开发了一个基于人工智能的口音翻译系统，使来自世界各地的呼叫中心工作人员听起来对美国客户更熟悉。该工具将说话者的口音实时转化为 “中性 “美国口音。据SFGATE报道，Sanas公司总裁Marty Sarim说，口音是一个问题，因为 “它们会导致偏见，会造成误解”。

种族偏见不可能通过让每个人听起来都是白人和美国人而消除。相反，这将加剧这些偏见，因为如果美国白人口音成为常态，不使用这种技术的非美国呼叫中心工作人员将面临更严重的歧视。

亚马逊带偏见的招聘工具

怀着将招聘过程自动化的梦想，亚马逊在2014年开始了一个人工智能项目。他们的项目完全是基于审查求职者的简历，并通过使用人工智能驱动的算法对求职者进行评级，这样招聘人员就不会在人工简历筛选任务上花费时间。然而，到了2015年，亚马逊意识到他们的新人工智能招聘系统没有对候选人进行公平的评级，它显示出对女性的偏见。

亚马逊曾使用过去10年的历史数据来训练他们的人工智能模型。历史数据包含对女性的偏见，因为整个科技行业都是男性占主导地位，男性占亚马逊员工的60%。因此，亚马逊的招聘系统错误地认为男性候选人更受欢迎。它惩罚了包含 “女性” 一词的简历，如 “女子国际象棋俱乐部队长” 的简历。因此，亚马逊停止将该算法用于招聘目的。