据 The Verge 消息,美国公民自由联盟(ACLU)使用亚马逊的开放式 Rekognition API 扫描了所有 535 名国会议员的面孔,发现 Rekognition 将其中 28 个国会议员认成了嫌疑犯。
这些人当然并不是在逃嫌犯,但他们中的很多人是有色人种。“国会黑人党团(CBC)的 6 名成员全部在内,包括传奇民权领袖、众议院议员约翰·路易斯(John Lewis)等。” ACLU 称,他们对 Rekognition 的准确性和公正性感到担忧。
ACLU 声明称,“这种系统发生任何一次错误,都可能使人丧失自由甚至生命。国会必须认真对待这些威胁,暂停执法者使用人脸识别系统。”
亚马逊最具争议的产品之一
可以说,Rekognition是亚马逊最具争议的产品之一。
Rekognition 是亚马逊于 2016 年末推出的人脸识别系统,它可以识别图像或视频上的文字、对象、场景、活动和人员。这是一款在亚马逊服务器上运行的图像识别AI软件,用户需要为使用该软件处理的每张图片向亚马逊付费。它作为亚马逊云业务的一部分,一直寻求与政府合作,向后者提供基于人脸识别的安防服务。该软件非常便宜,整个部门每月的成本通常不到 12 美元。包括俄勒冈州、佛罗里达州在内的众多美国州立政府已经成为 Rekognition 的用户,警方已经开始使用该软件来寻找走失的儿童和被拐卖的人口。
将28名国会议员识别成嫌疑犯
但是,此举引发了美国民众极其强烈的反对和民权倡导者的严重质疑,遭到亚马逊用户、民间组织、股东甚至亚马逊员工在内超过15万人联名抗议。其中,最强烈的质疑声音来自美国公民自由联盟(ACLU)。该组织警告称,无处不在的面部识别软件可能侵犯人们的隐私,并造成一个无缝不入的政府监控系统。
使用默认设置,针对有色人种,识别错误率达5.2%
ACLU 一直在呼吁政府暂停使用该技术,原因是它有可能加深种族歧视。因为如果人工智能的训练数据本身就是严重偏向白人的,那么机器做出的判断可能也会非常偏向白人。ACLU 论证说,整个国会中只有 20% 的有色人种,而在机器认定的“嫌疑犯”中,有色人种却占了 39%。这与 NIST 的面部识别供应商测试所发现的结果类似,即女性和非洲裔美国人被误识的概率更高。
最近,ACLU找到了一些看似令人信服的证据——他们使用亚马逊的Rekognition人脸识别工具,扫描了全部535名美国国会议员的照片,并将它们与25000张警方公开的罪犯面部照片进行了比对。
结果,系统错误地将28名国会议员的照片与罪犯面部照片进行了配对。
也就是说,亚马逊的人脸识别工具认为,535名国会议员中,有28名议员看起来像是罪犯。
在测试时,ACLU使用25000张公开的入监,照构建了一个面部照片数据库和搜索工具。然后,他们搜索了这个数据库,比对了所有现任参众两院议员的公开照片。他们使用亚马逊为Rekognition的默认匹配设置。
图注:民主党众议员Sanford Bishop (D-Ga.) 被亚马逊人脸识别系统错误地判定为罪犯。
结果,产生了28个不正确的匹配——错误率达到5.2%。
被错误匹配的议员中,有色人种的比例显着过高(11人),仅国会黑人同盟(Congressional Black Caucus)就有6名成员被误判,其中包括着名的民权活动家众议院议员约翰·刘易斯(D-Ga)。
测试表明,对于皮肤较黑的人和女性,人脸识别通常不太准确。虽然对于整个国会来说,错误率是5.2%,但对于非白人的国会议员,错误率达到39%。
图注:有色人种被错误匹配的比例显着过高。近40%的错误匹配来自有色人种,尽管他们只占国会议员的20%。
ACLU强调,整个测试只花费了12.33美元。他们使用的是亚马逊提供给所有用户的面部识别系统,任何人都可以用它来扫描人脸图像,进行匹配。
ACLU 的测试已经激起了三位国会议员的公开反应。测试结束公开后不久,参议员 Markey(D-MA),众议员 Gutiérrez(D-IL)和众议员 DeSaulnier(D-CA)签署了致亚马逊首席执行官 Jeff Bezos 的公开信,要求其提供所有使用该系统的执法部门的名单,并设置对十三岁以下儿童的保护措施。
“面部识别对隐私和公民权利的危害令人担忧,”信中写道,“特别是当它被用作政府监管的工具时。”
亚马逊未公开透露目前有哪些政府部门使用了这一系统,而此前与多方抗辩时,亚马逊曾多次提到该技术的积极用途包括寻找走失儿童、打击人口贩卖等。“如果我们因为有人可能会选择滥用技术而禁用新的科技,那么我们今天的生活质量会差很多。”亚马逊表示。
作为甲方客户,俄勒冈州华盛顿县发言人 Jeff Talbot 曾表示,“我们已经利用这项技术抓捕了很多嫌疑人,将嫌疑犯的识别时间从 2 到 3 天缩短至几分钟。”
“我们不是批量采集,也不会把摄像机放在任何一个街角,” Jeff Talbot 补充说,“这个系统能够保障社区安全,同时在事发之后获得足够的信息并迅速采取行动,在破案过程中,节省几秒的时间对于拯救生命来说都意义重大。”
亚马逊回应:错误率可以接受
亚马逊刚刚在一篇官方博文对此进行了回复。
它的回复信息称,与微软一样,亚马逊认为美国政府应该先权衡利弊,然后再决定是否使用以及如何使用面部识别系统。
周四,亚马逊称,它认为美国民权同盟(ACLU)测试其Rekognition面部识别系统的方法有失偏颇,因为ACLU在测试中使用了这种系统默认设置的80%的可信匹配度,而亚马逊推荐执法机构使用的是95%以上的可信匹配度设置。
ACLU反驳称,警方很可能会同他们一样使用80%的默认设置,因为亚马逊并没有指导性文字告诉执法机构应该使用不同的可信度设置。此外,ACLU还认为,面部识别软件很容易遭到政府机构的滥用。
但在周五,亚马逊发布的一份新的备忘录驳斥了它没有提供指导性文字的观点。亚马逊称,它有专门的文档详细说明99%的可信度设置。
该备忘录还指出,如果亚马逊的面部识别系统从507名国会议员中只识别错了28个议员,那么从行业标准来看这个系统实际上是非常不错的。在面部识别软件中,误报率是可以接受的,因为人类操作人员还会进一步核对机器处理后的结果。
吊诡的是,周五下午亚马逊从网上撤下这篇备忘录,并更换了一篇新的备忘录。这篇新的备忘录在底部添加了一句话:
“我们有一个合理的想法:政府应该权衡面部识别系统的利弊,并详细说明执法机构需要满足什么条件(或设置什么级别的可信度)才能用面部识别系统来帮助他们处理公务。”
这句话至少有三种不同的解读方式:
1. 亚马逊认为,美国政府应该直接告诉亚马逊它认为这种软件到底行不行。
2. 亚马逊认为,美国政府应该告诉它自己的执法机构,在使用面部识别系统的时候应该设置哪个可信度级别。(这表明亚马逊有推卸责任之嫌。)
3. 与微软一样,亚马逊认为美国政府应该出台政策来规范面部识别系统。
我们无法确定哪个解读是正确的。但是,据一名知情人士称,第二个答案是正确的。亚马逊确实认为美国政府应该谨慎地挑选和使用面部识别工具。
在一项声明中,ACLU称,“在其面部识别产品造成真实威胁的时候,亚马逊显然只是一味地否认。在48个小时的辩论过程中,亚马逊一开始说它的系统默认匹配率是80%,昨天改口说是95%,今天又说应该是99%。亚马逊无时无刻不在推卸责任,试图否认其面部识别产品对现实生活中的人们可能会造成的严重影响。”
第三十八届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:zhangxuefeng
免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。