数据清理和感知可以防止AI偏见的产生

数据清理和感知可以防止AI偏见的产生

当与确定结果的传统方法进行基准比较时，大多数人工智能系统都力争结果的准确性达到95％。但是组织如何保护系统免受侵害，以使AI不会无意间注入影响结果准确性的偏见？

偏差可能是由于错误的算法，缺少算法所依据的完整数据，甚至是基于某些有偏假设的机器学习而注入到AI中的。

比如亚马逊的招聘工具，该工具始于2014年的一个AI项目。该AI应用程序的目的是节省招聘人员的简历时间。不幸的是，直到一年后，亚马逊才意识到新的AI招聘系统对女性申请人存在固有的偏见。发生此漏洞的原因是，亚马逊使用了过去十年的招聘历史数据。在过去的十年中，由于在该行业中男性占主导地位，因此造成了对女性的偏见，而男性占亚马逊员工的60％。

程序员和开发人员可以在部署AI之前就结合使用技术来检测或了解AI中的偏差。

主要是由流行文化参与的叙事中，对AI的偏见是某些秘密俱乐部的不法行为。问题是，有偏见的AI通常绝不是邪恶行为。它直接来自于AI所训练的数据。如果数据中存在偏差，那么就暗中学习并整合了它。

主动限制偏差的一种方法是在数据准备过程中检查进入AI和机器学习的数据两次。

偏见通常是无意的，主要是因为程序员和开发人员没有明确地寻找偏见。数据人将数据视为数据一样看待，可能无法从不同角度（例如业务角度）看到该信息。有太多细微差别和因素会影响数据结果，如果您“仅从数据角度看结果，有偏见的数据就会漏掉。

在评估数据是否存在偏见时，IT和数据科学家不是专家。在大多数情况下，最终企业最了解主题（和数据）。也可以使用IT算法，并扫描常见的偏见，例如种族、性别、宗教、社会经济地位等。

这些算法可以搜索并标记潜在的程序员和开发人员偏向。当然，这减慢了这一过程，这就是为什么许多数据科学家可能会跳过这一步的原因，但这是伦理学的观点，对于最终的AI结果将是有益而不是有害的至关重要。例如，如果人工智能将确定抵押贷款的资格，这绝对不能有偏见，并且数据科学家必须确保他们仔细检查了人工智能所学的信息。

预先清理数据对于AI决策的质量很重要。这包括AI数据的初始清理，对ML摄取的数据的清理警惕以及对其进行操作的后续算法。在所有过程中，应涉及最终业务用户专家。

在现实世界中，我们不希望AI会在不久的将来得到完全公正的对待。但是人工智能可以和数据以及创建数据的人一样好。

对于追求无偏差AI和ML结果的公司来说，这意味着要尽一切可能来审查数据和算法，并接受更长的项目时间表以正确获得数据和结果。