在数字式背景的夫人正义

(照片由iStock / Pitiphothivichit)

2019年,Genevieve(本文的共同作者)和她的丈夫申请了相同的信用卡。尽管信用评分略有更好,但与丈夫相同的收入,开支和债务,但信用卡公司将其信用额度达到几乎一半的金额。这次经历回声一个这是头条新闻同年晚些时候,一对夫妇比较了他们的苹果卡消费限额,发现丈夫的信用额度是他们的20倍。客户服务人员无法解释为什么算法认为妻子的信誉明显下降。

许多机构根据使用机器学习(ML)的人工智能(AI)系统做出决定,由此一系列算法从大量数据中获取并学习以查找模式并进行预测。这些系统可通知有多少信贷金融机构为Covid-19疫苗提供的医疗保健系统以及哪家候选公司呼吁求职面试。然而,这些系统中的性别偏见是普遍存在的,对妇女的短期和长期心理,经济和健康安全有着深远的影响。它还可以加强和扩大现有的有害性别陈规定型和偏见。

当我们结束妇女的历史月份时,社会变革领导者 - 包括具有性别专业知识和ML系统开发人员的研究人员和专业人士都需要问:我们如何建立性别智能AI来推进性别股权,而不是嵌入和平衡性别偏见?

人工智能性别偏见从何而来

人工智能系统存在偏见,因为它们是人类的创造物。谁做决定通知AI系统,谁在开发AI系统的团队中决定他们的开发。不出所料,存在巨大的性别差距:仅有AI和数据科学领域的22%的专业人士是女性 - 他们更有可能占据与较少地位相关的工作。

在更粒度的级别,人类生成,收集和标记进入数据集的数据。人类决定了算法从算法中学习的什么数据集,变量和规则。这两个阶段可以引入偏见这成为AI系统中的嵌入。

根据数据的性别偏见,数据点是我们所居住的世界的快照,我们看到的大型性别数据差距部分是由于性别数字鸿沟。例如,一些3亿少女比男人在手机上访问互联网,中低收入国家的女性是比男人更少20%拥有智能手机。这些技术为其用户生成数据,因此女性对其的事实较少地访问它们是固有的偏斜数据集。即使在生成数据时,人类也会收集数据决定收集什么以及如何。没有行业更好地说明了这一点,而不是医疗保健(另一个行业领导层之间的性别不平衡男人和男人的身体长期以来一直是医学检测的标准。女人是在医学试验中失踪,女性身体被视为过于复杂和变量。女性甚至不包括在雌性普遍疾病的动物研究中。该差距反映在医疗数据中。

并没有被性别和性别(以及其他身份)解释的数据会带来另一个问题。它描绘了一个不准确的图片,隐瞒不同性别身份的人与人之间的重要差异,并隐藏了潜在的超越或不足的陈述。例如,很少有城市数据集跟踪和分析性别数据因此,基础设施计划通常不适用于女性需求。

即使存在代表性数据点,它们也可能有损害内置并反映社会的不公平。返回消费者信用业,早期流程使用了婚姻状况和性别确定信用等级。最终,这些歧视性的做法被那些被认为比较中立的做法所取代。但在那个时候,女性没有那么正式的财务记录,遭受歧视,影响了她们获得贷款的能力。跟踪个人信用额度的数据点捕捉到了这些歧视性趋势。

数据标记也可以是主观的,也可以嵌入有害的偏见和观点。例如,大多数人口统计数据最终在简单的二进制女性男性类别的基础上标记。当性别分类以这种方式崩溃了性别时,它减少潜力为AI反映性别流动性和自我持有的性别认同。

就算法的性别偏差而言,开发算法的第一步之一是选择训练数据集。再次回到消费者信贷行业,当确定信誉的AI系统从历史数据中吸取信誉,他们接受收到比男性更低的信贷限制的妇女模式。他们重现了沿着性别的相同的不公平的信誉获得(和种族)线,如Geneveieve的案例和Apple卡故事所示。相关,这是性别阴影研究项目发现,商业面部识别系统使用缺乏多样化和代表性样本的图像数据集。这些系统比男性更频繁地错误分类。特别是,较深皮肤的女性以35%的错误率被错误分类,而打火机皮肤男性的错误率为0.8%。

开发人员告诉算法在做出决策时考虑哪些变量,但这些变量和代理可以惩罚某些身份或社区。例如,在线技术招聘平台,Gild(自Citadel收购)开发了一个AI系统,帮助雇主排名候选人进行编程工作。Ldild不仅从恢复的传统来源获取信息,而且还使用称为“社交数据”的代理(数字领域中的行动生成的数据)来测量候选人对数字社区的积分程度。在这种情况下,从像GitHub这样的平台上运常共享和开发代码中得出社交数据。但是,围绕无偿小心的社会期望等因素,哪些女性倾向于忍受,转化为在线聊天时间的女性。因此,妇女产生的社会数据较少。此外,女性可能会以男性的身份出现在像GitHub这样的平台上,以规避性别歧视,性别特定的安全问题(例如有针对性的骚扰和拖钓)以及其他形式的偏见。而不是去除人类偏见创建了一种算法倾向于惩罚妇女和系统地排名低于男性同行的女性候选人。

性别偏见的人工智能的影响

性别偏见的人工智能不仅对个人产生巨大影响,还可能导致性别平等和妇女赋权方面的挫折。作为我们在伯克利哈斯平等、性别和领导力中心工作的一部分缓解人工智能的偏见, 我们跟踪公开可用的实例使用mL的AI系统偏差。在我们分析1988年的行业大约133个偏见系统到今天,我们发现44.2%(59个系统)展示了性别偏见,25.7%(34个系统)表现出性别和种族偏见。

性别偏见的AI系统具有六个主要影响:59系统表现出性别偏见,70%导致服务质量较低对于女性和非二元个体。例如,越来越多地应用于汽车和医疗保健行业的语音识别系统,往往对女性的表现更差。第二,不公平分配资源,信息和机会对于妇女体现在61.5%的系统中,我们被确定为性别偏见,包括招聘软件和消化妇女申请的广告系统。

加强现有,有害的刻板印象和偏见(在28.2%的性别偏置系统中)通过数据输入和输出之间的反馈回路加剧。例如,从大量在线文本学习的翻译软件历史上是对性别中立的术语(如“医生”或“护士”中英文)并返回了性别翻译(例如“El Doctor”和“La Enfermera,“分别以西班牙语),加强男性医生和女性护士的刻板印象。相关,我们发现AI系统 - 最常见于与互联网相关的服务 - 导致对已经被边缘化的性别身份的贬损和冒犯性对待或消除(6.84%)。例如,在性别分类中使用性别二元在面部分析系统等工具中构建了一个不准确、简单的性别视图。

此外,某些系统会影响女性和非二进制个人的身心健康。用于医疗保健,福利和汽车行业的性别偏见系统,特别是姿势对人身安全的危害(18.8%的性别歧视系统)健康危害(3.42%)。支持皮肤癌的AI系统检测,例如,斗争以检测黑人的黑色素瘤,使已经受到医疗保健行业的黑人女性受到风险的风险。

社会变革的领导者可以做些什么

优先考虑性别股权和正义作为ML系统的主要目标,可以为设计和管理决策创造下游影响。我们必须承认ML系统不是客观的。即使是良好的ML系统(例如,为提供信誉评估或雇用更公平的信誉评估或雇用的系统)都可以易于与偏见相关的问题,就像他们的人类创造者一样。社会变革领导者的角色以及开发ML系统的组织领导者,以使性别智能ML和推进性别股权。

社会变革领导人可以:

1.使用女权主义数据实践来帮助填补数据差距。作为凯瑟琳d'iconazio和lauren klein在他们的书中捕获,数据女权主义女权主义数据实践包括分析权力如何运行和使用数据来挑战不等功率结构,移动过去的性别二进制文件,重视多种形式的知识,并合成局部和本土知识的优先权。女权主义数据可以帮助居中边缘化个人的声音和经验,包括妇女和女孩。

作为一个例子,数字民主该组织与当地社区团体合作,如妇女为受害者服务委员会(KOFAVIV),建立了一个安全的系统在海地收集基于性别的暴力数据。该系统允许当地妇女跟踪,分析,映射和共享数据。

另一个重要步骤是承认和违反有害数据实践,如上所概述女权主义数据表现 - 没有

2.在性别平等的人工智能领域发挥你的专长,倡导人工智能扫盲培训,并参与对话。通过将性别专业知识整合到人工智能系统中,ML开发者和管理者可以更好地理解问题和解决方案,以减轻性别偏见。伟德国际官网注册

这首先通过倡导性别专家之间的AI扫盲培训,并通过向会议组织者举行会议和关于性别和AI的讲习班来谈论谈话。例如,这不是很久以前,这些性别专家在很大程度上没有关于影响投资的讨论。工作坊喜欢由标准研究所举办的人包括关于金融投资概念和性别考虑的培训,帮助研究人员和专业人士具有性别专业知识更好地了解影响投资领域,以及最终推进 - 性别 - 镜头投资工作和举措。

3.在考虑或使用AI系统以解决性别差距,批判性地思考关于在团队中表示AI系统的开发,以及他们使用的数据以及它们如何开发算法。

人工智能是越来越多地被用于应对全球发展挑战,包括性别不平等,民间社会组织正在董事会上。例如,女性世界银行和Mujer Findingiera是使用ML支持妇女的金融包容性。重要的是坚持并支持ML开发人员将妇女的声音居中,在这些AI系统的开发,创造和管理中居中妇女和非二元人士的声音。此外,您的尽职调查,以及评估在使用之前的性别偏见和意外后果的潜在AI系统。

开发人员可以做些什么

当ML系统建立良好时,它们可以避免对偏差的关键分析和意外后果的潜力。打算为善于建立一个系统是不够的。为帮助企业和组织的研究人员和领导者开发AI Systems催化性别智能ML,社会变革领导者应该鼓励ML Development Partners追求和倡导以下内容:

1.在发展和管理AI系统的团队中嵌入和推进性别多样性,公平和包容。如果我们相信AI的潜力,这是必要的。最近学习不同的人口统计群体在减少算法偏差方面表现得更好。采取行动通过确保多样性是核心领导优先权更新机构政策,实践和结构支持多样性和包容性。

2.认识到数据和算法不是中立的,然后对其进行操作。文档ML数据集中的内容(例如,通过数据集的数据表)和ML模型(例如through模型卡)。评估不同性别身份的代表性的代表性和反映现实的底层的数据集,但最终是有问题的。最后,与性别专家合作,将女性主义数据原则和方法整合,诊断和解决算法的潜在性别影响,并进行性别镜头进行算法审计。

3.将边缘化社区成员的声音中心,包括妇女和非二进制个人在AI系统的发展中。支持研究,并向其他部门学习,例如离网能源和更清洁的烹饪- 这对技术的发展嵌入式参与设计和参与式行动研究。

4.为负责任AI制定性别敏感的治理方法。在开发AI伦理治理结构(AI伦理委员会和领导),确保存在性别多样性。在负责任或道德AI代码和原则内,批判性地思考如何将与性别和其他边缘化身份相关的司法和股权纳入。(看到这一点教科文组织的报告有关将性别平等考虑嵌入AI原则的指导。

这些行动并非详尽无遗,但它们为建立了股权的性别智能ML提供了一个起点。让我们不要错过这个机会彻底改变我们的考虑,设计和管理AI系统,从而追求更加刚刚的世界,并为后代追求。