人工智能中的细微偏差会影响应急决策

人们怀有偏见已经不是什么秘密了——有些偏见可能是无意识的，而另一些则非常明显。一般人可能会认为计算机——通常由塑料、钢、玻璃、硅和各种金属制成的机器——没有偏见。虽然该假设可能适用于计算机硬件，但计算机软件并非总是如此，计算机软件是由易犯错误的人编写的，并且可以提供本身在某些方面受到损害的数据。

人工智能 (AI) 系统——尤其是那些基于机器学习的系统——在医学上越来越多地用于诊断特定疾病，例如，或评估 X 射线。这些系统也被用来支持其他医疗保健领域的决策。 然而，最近的研究表明，机器学习模型可以对少数群体的偏见进行编码，因此它们提出的建议可能会反映出这些相同的偏见。

一组 954 人（438 名临床医生和 516 名非专家）参加了一项实验，以了解 AI 偏见如何影响决策制定。向参与者展示了来自一条虚构的危机热线的电话摘要，每条电话摘要都涉及一名正在经历心理健康紧急情况的男性。摘要包含有关此人是白人还是非裔美国人的信息，如果他碰巧是穆斯林，还会提及他的宗教信仰。典型的通话摘要可能会描述这样一种情况，即一名非洲裔美国男子被发现在家中神志不清，表明“他没有吸毒或饮酒，因为他是一名虔诚的穆斯林”。研究参与者被告知，如果他们认为患者可能会变得暴力，就报警；否则，鼓励他们寻求医疗帮助。

参与者被随机分为对照组或“基线”组以及其他四个旨在测试在略有不同的条件下的反应的组。“我们想了解有偏见的模型如何影响决策，但我们首先需要了解人类偏见如何影响决策过程，”亚当指出。他们在对基线组的分析中发现的结果相当令人惊讶：“在我们考虑的环境中，人类参与者没有表现出任何偏见。这并不意味着人类没有偏见，但我们传达有关一个人的种族和宗教信息的方式显然不足以引起他们的偏见。”

实验中的其他四组得到的建议要么来自有偏见的模型，要么来自无偏见的模型，这些建议以“规定性”或“描述性”的形式呈现。在涉及非裔美国人或穆斯林的情况下，有偏见的模型比无偏见的模型更有可能建议警察提供帮助。然而，该研究的参与者并不知道他们的建议来自哪种模型，甚至不知道提供建议的模型可能存在偏见。规范性建议以明确的方式阐明了参与者应该做什么，告诉他们在一种情况下应该报警，在另一种情况下应该寻求医疗帮助。描述性建议不那么直接：显示一个标志，表明人工智能系统感知到与特定呼叫相关的暴力风险；

其次，研究人员发现通常用于提供建议的语言模型很容易产生偏见。语言模型代表一类在文本上训练的机器学习系统，例如维基百科和其他网络材料的全部内容。当这些模型通过依赖小得多的数据子集进行训练时（仅 2,000 个句子，而不是 800 万个网页）进行“微调”时，生成的模型很容易出现偏差。

“这些发现可能适用于其他环境，”亚当说，而且不一定局限于医疗保健情况。在决定哪些人应该接受工作面试时，有偏见的模型更有可能拒绝黑人申请人。然而，如果不是明确（和规范地）告诉雇主“拒绝该申请人”，而是在文件上附加一个描述性标记以表明申请人“可能缺乏经验”，结果可能会有所不同。

Adam 坚持认为，这项工作的意义不仅仅是弄清楚如何应对处于心理健康危机中的个人。“我们的最终目标是确保以公平、安全和稳健的方式使用机器学习模型。”