[00:00:00]
仁慈：其实我不是那种反科技的人，相反我非常拥抱科技，因为我真的非常 appreciate（感激） 有很多科技对我生活带来的改变，但是我担心的是什么呢？就是作为一个残障者我发现啊，我们的残障运动在过去的三、四十年一直想要推进一个理念就是残障它不是个人的缺陷问题，它是一个社会正义问题，是一个环境问题。但是，我感觉目前的科技的发展让我很害怕的一点，我们好像把过去三十年的残障是社会问题又推到了残障者本身。如果我是一个残障者，我有这种行动的障碍，我使用轮椅，那我现在希望的是什么？我希望这个社会环境更加的无障碍，我希望所有的路都有这种坡道，我希望有电梯，我希望门是自动的，这是一个环境问题，这是一个社会正义问题。那现在会有人跟你说我给你发明了一个外骨骼，你可以走了，你可以爬楼梯了，或者说我给你发明了一个可以上楼梯的轮椅，那你现在就不需要电梯了。我感觉这个问题它又回到了残障者本身，又把残障问题说是你自己的问题，那如果你现在没有办法爬楼的话，你为什么不去买一个好一点的轮椅？（笑）
吴迪：对对对，就它有一种很头痛医头脚痛医脚的逻辑。
[00:01:31]
仁慈：大家好，我是谢仁慈，我是残障者，也是残障研究者，欢迎来到《残言片语》播客，我们用残障视角看主流问题，对抗能力健全中心主义，我们有话说。今天我很荣幸邀请到了来自 MIT（麻省理工学院） 的吴迪和我们一起聊 AI 算法和歧视。吴迪你好。
吴迪：你好。
仁慈：请问你可以简单的介绍一下自己吗？
吴迪：可以啊，谢谢仁慈。大家好，我叫吴迪，我在麻省理工学院读博士，我主要的研究方向是残障与科技的交互，也跟今天的主题有点关系。我在读博士之前呢，是一直在国内从事残障公益组织的工作，所以也是从这个角度开始接触了残障社群还有残障研究的，也是因为这个认识了仁慈。
仁慈：对，我们认识很多年了，大概是七、八年前我们在北京认识的，所以录播客这个机会让我又一次和吴迪 re-connect（重新建立联系） 了，我很高兴。今天我们主要想要聊最近一些其实在所谓的主流媒体里面非常火热的话题啊，就是 AI 算法。但大家好像对 AI 和算法更多是比较积极的态度，会觉得 AI 是塑造我们的未来，会让我们有更好的一个未来。吴迪你自己作为研究科技包括 AI，你会觉得你的生活已经被 AI 给统治或占领了吗？
吴迪：嗯……我觉得这个得看具体是什么技术，就是我们说 AI 的时候可能指的是很多种不同的技术嘛，比如说如果有些技术在生活中运用得很多，然后给我生活带来的是便利的话，那这种技术我不会觉得它有入侵感。比如说我们在购物的时候有算法给你推荐，它推荐的东西确实是你想要的；或者说做研究的时候让 ChatGPT 做一些翻译啊什么的，当它给你带来便利的时候呢，你会容易觉得它的这个存在感是比较隐藏的，但是当你跟它发生冲突的时候，这个时候它就很有存在感。比如说前两天我在要登录一个网站的时候，它要让我做那个所谓的反向图灵测试，就是让我对机器证明我是个人，就叫反向图灵测试。我做这个测试它让我标那个图里面的摩托车，我大概标了四、五轮，就都没有标对，最后我就没有办法访问这个网站，就类似这种时刻你就会觉得到底是谁在为谁服务啊？！
[00:03:51]
仁慈：美国目前有几个和 AI 算法相关的案子，我当时就先问我同学，我说如果你觉得你在过去的一周你用了 AI 的话请你举手，我们全班大概 20 个人，可能只有两、三个人举手。我又问他们，在过去的一周如果你用过 Facebook、YouTube、Spotify 这些社交媒体网站的话请你举手，全班都举手了。那我就觉得可能很多人啊他们其实用的这些产品它其实是有 AI 和算法在里面，但大家都没有意识到这一点。我觉得有个特别有意思的例子就是有一段时间我在用 YouTube 去看小狗嘛，因为我特别喜欢要一只小狗，但一直没有机会，然后我生活的乐趣就是看小狗解压。结果有一天发现我所有的推荐里面都是小狗，但其实我也很喜欢猫，而且我还有一只特别可爱的猫。我觉得好像它的推荐让我感觉我是一个只喜欢狗的人，但我觉得这对我的猫特别的不公平（笑），因为我也很爱我的猫。所以我觉得其实你会发现它给我们带来生活的便利确实，但很多人都没有意识到 AI 已经是我们生活的一部分。
[00:04:56]
仁慈：今天当我们在说算法的时候我们在说什么，我们在说算法的时候其实是在说是基于机器学习的算法。但是其实这个机器它并没有所谓的像人一样去学习，而是它要靠人类去给它提供这样的数据，而且人类提供的数据一定是经过先处理的，把这个数据变得机器可以懂的方式来呈现。你给 AI 提供了这样的数据，然后 AI 才能够根据你的指令去做出判断。请你告诉我这是不是一只猫，就向刚才我们举的猫的例子。我觉得它像是把我们之前人类大脑的一些理解或者判断的这个流程，它从人脑里面脱离出来了，变成了一个所谓的像算法一样去告诉你该怎么做。我觉得我的理解是比如说在所有的信息可以流通之前，可能每个人做一个红烧肉有不同的步骤，但是呢到我们现在这个年代就是 AI 年代了之后呢，就是说好我们给这个 AI 有一万个做红烧肉的不同方法，然后我把这个数据告诉它，它通过就是知道每一个红烧肉的不同 pattern（模式），最后总结出的那一个我们认为或它认为是最好的，从步骤一到步骤十是最方便、最快、最节省时间能做出最好的红烧肉的那一个菜谱提供出来。我的理解那个可能就是所谓的算法，我不知道这种理解是不是有点过于简单。
吴迪：嗯我觉得技术层面如果要谈具体某一个算法的话它会非常的复杂，但是我觉得大体的逻辑，我理解的逻辑和你理解的差不多，它其实是有带一点统计学意义的，就是在海量的数据当中寻找规律。当然这个寻找的方式是有工程师提前用算法的方式去告诉机器你大概有这么些方法、这些参数你可以去尝试寻找。但是一旦这个规律寻找出来之后，理论上后续就不再需要同样的数据再去重复的训练它了，所以很多这些标注的数据被认为是训练数据，就只有在训练这个算法的阶段才需要。所以跟你描述的这个大致逻辑是一样的，只不过未必它会最后生成同一种红烧肉。
仁慈：根据你的指令，我想要南方的红烧肉还是想要北方的红烧肉，然后它会给你提供不同的红烧肉，但它确实就是吸收了大量的红烧肉菜谱是吧？
[00:07:30]
仁慈：啊我觉得特别有意思，我之前在推特上看到一个这样的所谓的 meme（梗图），就是搞笑的图片，就有人问 GPT，你为什么总是带着一个帽子，让我来揭开你的真面目，然后它把帽子一掀开里面，下面的脸真正的上面写了两个字“统计学”。
吴迪：对对。
仁慈：但我觉得我们能感觉到其实 AI 它是希望能节省我们的时间，节省你去寻找不同的菜谱，然后做总结的这个时间。所以我觉得很多时候 AI 的初衷是好的，并且我们能看到很多关于这种介绍 AI 的标题总是给你非常积极的想象，一种很乌托邦的未来。比如说 AI 如何塑造我们的未来节省我们的时间，或者 AI 如何为老年人服务，这是我最近看到的一些题目。
[00:08:18]
仁慈：但是其实除了我们刚才提到的比如说我们可能在购物的时候，玩抖音的时候会有 AI 算法给我们推荐，这种你是感觉到无形的，但其实 AI 除了在娱乐方面，它也用到了其他更广阔的一些领域。比如说工作筛选里面，像 TikTok、Facebook 这样的推荐之外，还有一种就是 AI 它也会用来去筛选简历。之前有一个非常著名的案子，就是亚马逊它在 2016 年的时候它特别想训练自己的 AI 去筛选简历。因为你知道亚马逊可能每年要收到 10 万个简历，它不可能去通过人去看，可能我们只想要 1000 个员工，但投了有 10 万、20 万个简历，那这个时候要人工去看就很困难，它不可能一个一个的看。所以亚马逊就想 OK我们我们基于现在我们公司的所有员工的简历我们来训练一个 AI，基于我们现在所有的这个数据，我们来筛选新的申请者的简历，然后让它自动给我评分、自动给我筛选，那这样我就不用花人力物力去看所有的这些简历了。
吴迪：嗯~
仁慈：那当时这也有一个问题，就是说他们发现，他们筛选出来的 AI 对女性是非常不友好的，就是在同样的情况下，如果两个申请人有非常相似的背景，但是 AI 会通过各种各样的方式来判断这个简历是属于一个男性还是女性，如果是属于女性的话，它就会给这个简历打更低的分。它就像你在亚马逊或者淘宝你买了一个东西之后会给它评分对吧，这个 AI 它就会看到这个简历之后它做一番小运算然后给这个简历打一个分。那其实如果是人工的 HR 看的话，它会直接点，我想从五星的开始看，那后面一星二星三星的我就不用看了，我就在看所有的五星简历里面，然后我再挑选人。那问题就是说这个 AI 它会同样的背景，如果这个 AI 通过它自己的 indicator（数据指标） 发现这个简历属于女性的话它给更低的分。但其实有意思的是这些研究员和训练 AI 的人他们从来没有跟这个 AI 说你要给女性更低的分，你要给男性更低的分，所以我说这挺有意思，吴迪你知道它们是为什么会给女性更低的分吗？
吴迪：这个案例我也听说过，因为这个案例非常臭名昭著，就是亚马逊的这个。他们的训练很大很重要的一部分是出现在训练数据的问题上，也就是说它输入进去那些训练数据是基于他们过去 10 年员工的这个简历。当他们过去 10 年的员工绝大部分都是男性的时候，尤其是工程师这类技术岗位基本上都是男性的时候，这种情况呢算法就会学习嘛，它学习这里面有什么规律，它找到什么规律，它找到的规律就是男性更适合做工程师，然后它就根据这个规律很聪明的加进了自己的判断，就主动把女性全部筛选掉，它去找简历当中比如说它写女子、什么女子篮球队啊或者女校什么什么的，包括有些姓名也是可以判断出性别的，所以它就找这些就是小聪明的点，然后根据自己的判断认为这是不适合的候选人。这既有算法的问题也有数据本身的问题。
[00:11:41]
吴迪：我还听说过一个更荒谬的例子，是一个专门做人力资源服务的公司，他们开发了一个简历筛选的 AI。那个 AI 做出来的结论是有两类人的绩效最高，一类是名字里有 Jerry 的人，就是一个非常白人男性的名字，还有一个就是高中的时候打过曲棍球的人，因为他们全都是精英，就是去过名校的那种。如果你纯粹按照现有的数据不加任何的调整，等于说你把这个世界上已经存在的历史上过去存在的这些 bias （偏见）这些偏见全部复刻了一遍，而且还复刻的理所当然，你还给它找出一个特别荒谬的规律，所以就容易出现这种情况。
[00:12:19]
仁慈：对，我非常赞同一方面就是我们的训练数据的样本出现了差错，可能如果你拿出来一个完全是由白人男性主导的样本的话，那这个 AI 它就会说“哇原来是白人男性适合这份工作”，它没有其他的发散性的想法会想，哦这个样本会不会是出错了，这个 AI 它没有办法判断自己的这个信息来源是不是有问题的。
仁慈：然后呢我觉得除了 AI 之外，至少在美国还有很多其他的方面 AI 也在被广泛的使用。比如说之前又看到另外一个案子是我们现在用 Facebook 不仅仅是用来发自己的照片啊和朋友们交流，还有你在下面看到很多求职的工作的信息。之前美国的女卡车司机就发现，如果他们用 Facebook 来找工作的话，那 Facebook 给他们推荐的工作就是要比男卡车司机推荐的工作更少。比如说它会给女司机更多的比较轻松的，但是同时薪酬也比较少的工作。然后呢美国平等就业委员会和这个女司机联盟起诉了 Facebook 说你的这个算法、你的工作推荐是歧视女司机、歧视女性的，他们就到了联邦法院去解决这个问题。但因为这个案子最后它是庭外和解，所以我们最后并不清楚到底是它的样本出现了问题还是它的 AI 出现了问题，还是 Facebook 有意的跟它说请把这种工作给男性更多，也是基于这样社会对女性这种刻板印象和偏见，然后导致它最后的结果就是女司机的工作比起男司机来说没有那么高的薪水。
仁慈：对，然后我觉得这个还蛮有趣的，在美国有很多这样的案子。目前一方面是在联邦法院在等待审理，然后一方面也引起了很多人的这种关注。那其实我们能看到啊，就是如果我们用算法的话，好像都只有少数群体特别像女性啊或残障者啊，受到这种不公正的待遇。那你觉得为什么会这样呢？
[00:14:23]
吴迪：我在想就是之前你说过的一句话有点启发我，就是关于算法或者说 AI 比如说让我们的生活更便利，就是这个「我们」是很有误导性的，到底让谁的生活更便利了？比如说这个招聘的算法，它确实是让公司的这个成本减少了，而且它也可以让公司免于一定程度上，如果这个案子没有被发现的话，那么它这个结果可以说是公正的。就比如说会有人认为算法比人的判断更公正，就有些人会觉得说机器在没有偏见的情况下可以做到不受感情的影响，在招聘中甚至是可以去除歧视的。
仁慈：我们好像认为 AI 它是一个非常中立的，因为技术中立嘛，所以我们觉得 AI 算法是中立的，但实际上 AI 不可能完全中立，如果我们给它提供的样本是有误差和偏见的，因为 AI 它只可能重复人类的偏见。
[00:15:24]
吴迪：是，所以关于为什么少数群体会在 AI 中的歧视特别明显，我觉得可能未必是所谓的少数群体不断得在被歧视。因为真的是取决于我们说的是哪一个 AI ，然后具体是谁开发的，谁是背后的资方，它的目标是什么，它在为谁服务。比如说它是一个医疗器械用的 AI 还是说是一个军工武器类的 AI，这用途是完全不一样，所以我觉得没办法一概而论。
仁慈：但我们就是说主流生活中的，我们能够接触到的 AI 。比如说如果在美国的情况下，如果你求职的话你可能会通过一些专门的网站比如说 Workday Inc 去提交你的简历，这种是我们日常生活中的 AI 的话，你觉得它为什么可能会让少数群体处于不利的低位？因为最近我一个非常关注的在第九巡回法院的案子就是有一个人他是男性他是残障者他 40 岁以上，他在过去三年里面他用了 Workday 算是一个这种人力资源管理平台。美国的 500 强的公司可能 75% 都会用这个平台来管理他的员工，也会用来筛选他的简历。那这个人他叫 Mobley，Mobley 他在过去的三年里面投了 100 多个简历，都是用的这个 Workday 的平台，然后所有的工作都拒绝给他 offer，他甚至都没有机会去应聘，甚至没有机会去接触一个真的人去跟他做一个这种面试。然后他就想这是为什么呢？
仁慈：他怀疑啊这个 Workday 的平台，他们这种 AI 的简历筛选软件是歧视了残障者、黑人和 40 岁以上的人的，这个案子目前是在第九巡回法院前两天才是另一个听证会才刚过。但我觉得这是一个我们当下非常需要去思考的问题。就是第一，可能 AI 在便利我们之前就已经把我们特别是一些少数群体给歧视了，而且我们没有意识到它歧视了我们。
仁慈：所以我觉得在日常生活中我们使用 AI 的时候可能会有被歧视的可能性。除了刚才我们提到像亚马逊和 Facebook 的案子它可能是因为它训练的数据样本是有偏差的，可能白人男性非残障者就是在这个样本里面占绝大多数，所以它的 AI 自己又学习成了“哦因为白人男性和 40 岁以下的更适合这些工作”，那你觉得除是训练样本的原因，还会有其他原因导致这个 AI 的工具会歧视少数群体吗？
[00:18:02]
吴迪：嗯数据肯定是一个很大的原因就你提到的，然后还有一个层面就是算法层面，就比如说它拿到这个数据以后它怎么解读。我之前看到过一个案例是，就自动驾驶要不要识别轮椅这个问题，然后呢一开始他们的训练数据里面没有轮椅，所以他们在识别到轮椅的时候这个算法是不知道要怎么做的，尤其是有些轮椅它会逆行嘛，就是它倒着推。这种情况下最开始这个算法是识别不出来的，他们增加了这个逆行的数据以后，还有轮椅的一些数据以后发现，这个算法看到轮椅之后，它能识别出来，但是它的决策是开过去，就是撞上去。
仁慈：喔好吓人呐（感叹）。
吴迪：对啊，你想这个可能是产生生命危险的，如果这样的算法运用到公路上，有轮椅在，尤其是像在中国，在我们国家，就是很多轮椅是在机动车道上开的时候，这得多危险。
吴迪：回到这个问题上就是像这个例子它问题可能出在算法层面，就它的算法没有设计好说遇到轮椅，还是因为这个数据在他们看来太小众嘛，就在他们看来残障者是少数群体，这样的人首先数据就少，另外就是拿到了这个数据以后不知道该怎么做，它对这个情境的判断的经验非常少。
[00:19:28]
吴迪：还有一个层面的问题可能更大了，就机器学习它学习的目的什么？有些算法它就是带有一些恶意的，就是它的目的本身是带有恶意的。比如说之前美国好像有曝光出来有一个算法是希望识别谁是性少数，就是你识别这个的意义是什么？首先这是涉及到别人隐私的，人家愿不愿意出柜、人家愿不愿意被识别出来这是一个问题，且不说能不能识别出来，且不说这个东西是不是能从外部的这个容貌就判断出来，这本身是带有一些伪科学性质的。
吴迪：那即使是这样它识别的目的是什么？包括很多时候算法会去尝试识别这个人是否有残障或者有慢性病，它识别的意义就在于比如说在简历的筛选过程中可以在不为人知的情况下就把你淘汰掉，这样子相当于是变成一种隐藏自己歧视的工具了。因为算法在某种程度上是个黑匣子嘛，不是一手的开发者你肯定是不知道里面发生了什么的，你也没办法知道一个输入进去，它为什么会产生这样的输出。所以说一定程度上如果机器学习它本身的带有的目的就是为了便利比如说资本家、便利一些更有权势的人，去方便他们去隐藏自己的歧视或者说方便他们做一些更加高效率但是其实不那么公平的事情的时候，那这种就肯定会带来算法结果上的歧视。
吴迪：就我觉得本质上这些都是社会问题反映在了技术里。首先它被以技术的方式固化了，同时还被以技术的方式放大了，而且还被技术隐藏了。所以很多时候是我们很多社会问题没有处理，然后原封不动的甚至是放大的进入到了这些体系当中之后，产生的这些歧视少数群体的问题。
[00:21:23]
仁慈：对，我非常的赞同非常赞同。我觉得这个让我想到还有很多领域其实我觉得 AI 都蠢蠢欲动，有两个我最近看到在美国的案子我觉得是很惊人的。一个是医疗资源的分配，它会通过你填的问卷这些来判断在医疗资源紧缺的时候谁优先享有资源，那也不用想了，那肯定是白人，主流群体可能更容易有这个医疗资源。还有另外一个案子我觉得很触目惊心，就是美国有一些法院，有一些区他们在想要用 AI 来完成一个什么事儿呢，就是在美国如果你犯了一件刑事犯罪之后，会有一个听证会，这个听证会决定你能不能保释。所谓的保释就是你不用在看守所等待你的法院审理你的案件，而是说你可以在一个固定的地方比如这个城市纽约市你不要离开这个城市，然后到你案子开庭那天你就去开庭，这就保释。
仁慈：有一些法院他们就想既然你们都说我们在搞保释这方面是歧视黑人的，现在我们训练一个 AI，我们希望这个 AI 能公平公正的给出这个人他会按时出现在法庭去参加他案子的百分比是多少，他们就想要动这个小脑筋，也不是小脑筋，他们想省事。他们觉得一方面是 AI 省事，因为法官就不用看这个人了。一方面就是说感觉法官可能会对某一种肤色的人会有这样的偏见，然后他们就说那我们就这么做吧，然后他们就找了一些数据训练这样一个 AI。
仁慈：然后就被人曝光出来他们的 AI 完全就是歧视黑人，如果是同样的生活的背景、教育的背景、犯罪的经历都是一样的话，那白人比黑人能够成功保释的几率要大很多。所以我就觉得虽然他们真的很想用这个 AI 来去剥离这样的歧视，可是他们就是做不到（笑）。就像你说的不知道问题出现在哪一个部分，反而是这种 AI 技术让这样的偏见更加的固化和扩大了。所以我觉得这也是一件比较恐怖的事情。
[00:23:37]
仁慈：但是，我觉得有时候特别有趣，因为我在准备这篇播客的时候我就看了很多案子。我在想哎哟在美国啊他们用这么多 AI 的方式来歧视少数群体，那中国呢？为什么中国好像没有听到 AI 用来歧视少数群体，是不是中国的企业比较有良心。后来一想，如果你在中国想要歧视少数群体的话，你根本就不需要那么复杂，你不需要搞 AI。
吴迪：对，可以明目张胆的歧视，也不会有法律来制裁你。
仁慈：对。
吴迪：所以比如说招聘广告可以直接说只限男性，或者说只限残障一级、二级，就是这些话都是可以明目张胆说出来的，你根本不需要一个复杂的算法、昂贵的算法去把它隐藏起来。
仁慈：对对，在美国的话因为美国的法律它一方面是立法的话会考虑的比较周全，我觉得更重要的是在执法程度上确实是要比中国要更加的严格很多。那我觉得在中国的话如果你想要歧视一个残障者或者 35 岁以上的人，就像吴迪说的你不需要这么复杂去量身定做一个昂贵的算法，你直接说我不要 35 岁以上的，那你又能拿我怎么样。（笑）
[00:24:48]
仁慈：我觉得就还蛮有趣的，因为在美国的话是有很明确什么是歧视，但是有趣的是现在在中国的法律体系里面并没有关于歧视的定义。虽然每个法律都说我们不能歧视残障者、不能歧视女性、不能歧视老年人，但是因为没有关于歧视的定义，所以让这一切都变成了空中楼阁。所以生活中有各种各样歧视的事情，那又怎么样呢，每个人觉得这好像是正常在发生的事情，我觉得还挺有意思的。
仁慈：而且说实话中国的一些科技公司因为他们这种理所当然的歧视也给他们造成了很大的麻烦。有一个科技公司叫做麦奇教育科技。这个麦奇教育科技呢它就是做这种线上教育，他们做的很大一部分就是到一些西方国家招募把英语当成母语的人，他们招聘了然后来给中国人教英语。他们就在美国要招一些美国人来教英语嘛，美国人就发现这个麦奇教育科技你给它投简历如果你是 60 岁以上它根本就不会给你面试的机会，他们发现啊这就是歧视。然后美国就业平等委员会就和 60 岁以上的人这些联合形成了一个组织，就把麦奇教育科技在美国联邦法院给告了。一开始麦奇教育科技还说我们没有啊，这个麦奇教育科技在中国的话它如果不想要 35 岁以上、40 岁以上的人它不会有任何的法律风险，它就把这个东西理所当然得带到了美国来，结果被这个美国的 60 岁以上的人和平等教育委员会告了。但这个案子最后也没有走到庭审这个地步，因为麦奇教育科技肯定是歧视了这一点是毋庸置疑的。所以麦奇教育科技花了 30 万美金还是 300 万美金把这个案子给在庭外和解了。这也是非常严重的一刻，就是中国企业在海外的时候还是要尊重当地的法律，不要认为别人的反歧视法也是纸老虎。（笑）
吴迪：对，我记得 19 年的时候有一个类似的案例就是抖音的海外版 TikTok，应该先是在德国后来又在别的国家曝出来，就是他们的算法当中，曝的是一个他们的内部文件，然后内部文件里详细的列举了给他们内容审核员的一些指导，要求内容审核员把长得不好看的，然后肥胖的或者有残障的人全部标出来，然后呢让算法减少给他们分配流量。它那个用词都非常的非常的刺耳，比如它会说长相丑陋啊、不正常体型啊，包括它会明确说侏儒症，这样的播主的视频不要给他流量，还有什么啤酒肚、皱纹还有眼部有疾病的人反正都包括了。当时曝出来以后，TikTok 自己的理由是说“我们是想把这些人识别出来然后避免他们被霸凌”就是他默认说，不管这个理由是不是正确的是不是他们真的这么认为啊，他们的理由是因为这样的播主在网上会被霸凌呢我们就保护他们一下，就不给他们分配过度的流量，不让他们得到太多的关注，但是这个在欧美国家肯定是不会被买账了，就是明目张胆的被认为是歧视。
仁慈：这肯定是歧视，因为一个人的体型或者年龄或者他的相貌，还有他是否有残障而给他区别对待，而且这种区别对待是不能被 justify（证明正当） 的。如果你根据一个人的外貌、身体的形状、他肤色或者说他有没有残障，而对他进行非正当的区别对待，这就是一种歧视。我相信 TikTok 他们肯定也因为这个事情遭受很多指责，我认为我也相信这是一个非常严重的问题。
[00:28:27]
仁慈：那其实我感觉在国内的话关于 AI 这一块大家的看法还是比较积极的。但是我也有看到其实用 AI 去监测人，特别是监测学生，这也是一个非常严重的问题。我之前有看到上海有一所小学叫蔷薇小学，他们那个学校原本想要去安装这种电子摄像头，这个电子摄像头里面有这个 AI 的算法通过学生的面部的表情来判断他们有没有在集中精力的听课。我觉得这真的是挺可怕的，一方面是我觉得每个人学习的方式都不一样，另一方便是我特别怀疑如果这种通过面部识别来判断一个人有没有在认真学习的话，其实是会对残障学生造成非常非常负面的影响。其实在美国他们要有一些平台做的就是你的线上的采访是会被录下来的，录下来之后呢就会有这样的 AI 去分析你的说话的速度、你的用词、你的面部表情的表达，还有你有没有眼神接触，然后通过这样的方式给你一个评分。这听起来或许合理，但其实不合理。因为不是每个人都有同样的面部表情的表达的。那比如说有孤独症的人，他就不太喜欢眼神接触，那他可能就会在这种筛选机制下得到一个比较差的分数，但并不代表他不适应这份工作。同样的我觉得如果把这件事情把这个 AI 监测和打分放到学生学习上，首先是对所有孩子的一种隐私权的侵犯当然，那另外一种就是说那可能不是那种传统的学习方式，比如说像孤独症的孩子、学生或其他比如说有脑瘫的学生，那他们可能面部表情的表达就和所谓的正常学生就不一样，但不代表他们没有认真的学习，没有在听讲，在这样的评分机制下他们是绝对会被不公正的对待的。
[00:30:35]
吴迪：对，我觉得你说到一个很关键的因素就是，因为我们刚刚聊到就是机器学习它的基于统计学的一些原理嘛，统计学的逻辑就是要在大量的数据里面找到一定的规律，比如说正态分布它就是一个规律，它会区别谁是正常、谁是不正常的，这恰恰是很多少数群体会被排除在外的一个逻辑，就是当你开始区分谁正常谁不正常的时候你就是在排斥差异，那么当你有差异的时候你就会被这个系统所标为一个异类，这个就是如果太过依赖这个逻辑不去反思这个逻辑背后的这种排它性的话会造成的一个问题。
吴迪：然后你说到面部识别，国内也有这样的案例我是听国内的一些视力障碍伙伴聊到过。好多手机刚刚上线面部解锁这个功能之后他们很多人都解锁不了，因为这个识别不了他们的面容，要不然是比如说他们面部有烧伤，要不然是比如说他们是闭着眼睛的，或者说眼球的形状跟别人不一样，总之就是各种无法打开自己的手机。
吴迪：还有一个例子是比如说疫情期间的那个健康码，这个红码跟绿码有些人是区分不出来的，就是对于一些特定的视力障碍者来讲这两个码的颜色是一样的，他没有别的方式区分它。就很多这种设计的过程中是不考虑这种边缘的情况的，就是认为这些情况要么太少数要么就是不值得考虑。
[00:32:04]
仁慈：我觉得这个还是挺触目惊心的，包括我觉得这种科技从业者，他有一种救世主的心态，他特别喜欢说我发明出了某某技术产品然后就能解决双引号“你们残障你们残疾人的问题”。比如说我看到国内有一些非常新奇的这种手语翻译器，好像就是带上这个手套然后你打手语它就能直接变成我们说话的语音翻译出来，但是我就会感觉这个真的是聋人群体希望想要有的那种科技吗？
吴迪：对啊我觉得这就是一个好的问题，就是你得问，比如说我开发了一个技术，我不问用户本身是不是有这个需求我就一味的去以这种供给侧的在给这样的福利，然后还要用这个来包装自己，这是非常令人反感的。
吴迪：然后我确实有听说很多聋人伙伴不喜欢所谓的手语手套或者任何这种宣称要把手语问题解决掉的这种技术，因为大量的这种技术还是为听人服务的，它会要求聋人去承担这个戴手套的负担，就为什么我出门还要戴个手套啊？然后我要带着这个手套，无时无刻的带着这个手套，我要去承担这个沟通的责任，而且这个手套的翻译还不一定精准，以及它可能会带来一系列的问题。就是如果它做的足够好的话可能会把手语翻译的工作替代掉，但是翻译它不仅仅是一个沟通的这个角色。就有很多相关的研究也表明就是手语翻译跟真聋人包括跟聋人跟听人的这个关系当中，其实它有很多其他的角色在扮演。比如说手语翻译志愿者跟聋人一起去医院的时候，它其实除了翻译这个语言本身以外还有很多社会情境需要翻译。就比如说医生在这个情境下说这句话是什么意思。这个不是很 AI 能够识别出来的，它需要非常多的这个经验。所以就会面临很多这种具体的技术怎么设计的这个选择的问题。为什么总是聋人带着手套总是让聋人来承担这个这个责任？
[00:34:19]
仁慈：我特别喜欢这个分享。因为作为一个肢体障碍者，我有看到很多人看到我用假肢的时候他会说“哇现在都发明那种科技外骨骼对吧，以后你就可以跑起来的小谢”，我说我的问题绝对不是跑不跑得起来。因为我之前就有一个担心啊，其实我不是那种反科技的人，相反我非常拥抱科技，因为我真的非常 appreciate（感激） 有很多科技对我生活带来的改变，但是我担心的是什么呢？就是作为一个残障者我发现啊，我们的残障运动在过去的三、四十年一直想要推进一个理念就是残障它不是个人的缺陷问题，它是一个社会正义问题，是一个环境问题。但是，我感觉目前的科技的发展让我很害怕的一点，我们好像把过去三十年的残障是社会问题又推到了残障者本身。如果我是一个残障者，我有这种行动的障碍，我使用轮椅，那我现在希望的是什么？我希望这个社会环境更加的无障碍，我希望所有的路都有这种坡道，我希望有电梯，我希望门是自动的，这是一个环境问题，这是一个社会正义问题。那现在会有人跟你说我给你发明了一个外骨骼，你可以走了，你可以爬楼梯了，或者说我给你发明了一个可以上楼梯的轮椅，那你现在就不需要电梯了。我感觉这个问题它又回到了残障者本身，又把残障问题说是你自己的问题，那如果你现在没有办法爬楼的话，你为什么不去买一个好一点的轮椅？（笑）
吴迪：对对对，就它有一种很头痛医头脚痛医脚的逻辑。
[00:35:54]
吴迪：而且这个逻辑是非常就是健全中心的想象。就比如说很多视障者的这个辅具都是眼镜，世界上有千千万万种可穿戴设备的形状你可以设计，你偏偏要设计成一副眼镜，它就是因为这个逻辑在明眼人的想象中，视障者缺的是一双眼睛。就是这种非常一对一的关系，缺乏想象力。
[00:36:19]
仁慈：所以我就说，而且我认为就是一个好的设计啊它一定是让所有人都受益。如果我们把一个建筑里面的楼梯给挪走，如果我们把所有的这种人行道都会有坡道，那其实不论是残障者、轮椅使用者，那别人也可以用啊。我觉得每个人都会有一天会感觉不舒服，我想要电梯，我今天真的爬不了七楼。但是如果你把这些事情又变成一个工具的问题，我给你提供更好的轮椅、我给你提供外骨骼，你现在就可以去爬了，你从不能变成能了。所以我感觉这前面30年说的都白讲了呗。所以说到最后又开始我们的科技就是为了提高这种残障者的个人能力，打双引号的“个人能力”，然后他们就可以在社会里面出现了。我觉得说来说去我感觉这个科技到底要怎样才能和所谓的这种残障不是个人问题是一个社会问题更好的融合在一起，而不是加强我们现在社会本来就有的这种关于残障者的偏见——残障就是个人的缺陷，我觉得这个是很重要的。而且我觉得国内现在很多科技的研发它没有考虑残障者的需求，反而在去取悦非残障者，让他们感觉哇这个科技研发出来，我们的残障朋友小谢有了外骨骼就可以又跑又跳骑自行车。（两人大笑）
仁慈：对。我觉得它这些产品反而是在取悦非残障者，而没有去问残障者你到底想要什么。
[00:37:50]
吴迪：是的，我觉得什么样的理念就会做出什么样的技术来。如果你的理念是残障是一个医疗问题、是个人问题，那你就会做出非常医疗导向的东西，比如说什么外骨骼机器人，你就会做出一种非常医疗器械感的东西来。你要做的就是让这个人变得正常，这是医疗技术的导向。但如果你的理念是残障是跟社会互动的结果，然后残障者面临的是外部的障碍，那就会做出更加导向于去支持残障者参与社会的一些技术来。比如说电梯跟爬台阶的轮椅，这是两种完全不同的导向，但它可能目标是差不多，就是让这个人能够进到这栋楼里面。但是你让他做爬楼梯的轮椅，还是说造一个电梯让大家都可以用，这是完全两种不同的体验。就我是一个人挂在一个非常危险的这个机器上还要打电话求工作人员过来给我开锁，每一天可能开个几秒钟可能又坏掉了，还是说我可以坐所有人都可以坐的电梯，这是完全不同的社会参与方式。所以我觉得不是所有技术都是在取消掉我们过去 30 年的呼吁，但有可能是当残障者对技术本身的这个专业性还有残障者对这个技术想要往哪个方向走这个声音没有被听到的话，就会完全被一些缺乏想象力的解决方案所替代掉。
[00:39:19]
仁慈：而且我还想提到一个问题就是说这个成本是由谁来承担。如果你说这七楼的建筑啊它没有电梯的话，那需要承担这个无障碍改造成本的人就是这个建筑的享有者、所有权人，谁有这个建筑谁就有这样的义务。如果它是一个公共空间的话，当然你自己建一个七层的别墅没有人要求你装电梯（笑）。但如果它是一个公共空间的话，那谁拥有这个建筑谁就有这个责任去做这样的电梯。如果是一个可以爬楼的轮椅你就会发现还是残障者自己来承担这个轮椅的成本。而且我说句实话这种比较好的轮椅、假肢、外骨骼那都是相当贵的，我现在用的这个假肢，当然不是我自己出的钱，但这个假肢在官网上的价格是一万多美金。我就想这个世界有多少人能够承担这样的成本。
仁慈：而且还有一个就是说如果它是一个政府项目的话政府不可能给你买这么好的假肢这是第一个，第二个就是说政府它在做这种所谓的社会改造它会想有多少人可以用这个东西对吧，如果一个电梯的话那它有更多人要用，那每个人分担的成本就会更少。那如果你是一个个体的话是残障者自己的话，我不会给你一个可以上楼的轮椅，因为这个很贵而且只有你能用。
[00:40:39]
吴迪：是的是的，就又把责任转嫁到这个个体身上。成本这问题也是为什么很多高科技并没有低科技好用的一个原因。有的时候你把最新的那些最前沿的技术什么脑机接口啊乱七八糟就你把最这些 fancy（高档的） 的最华丽的技术全部都用在所谓的助残的这个事业上往往都是一个噱头。为什么？因为最后没有一个市场可以去承担这么昂贵的设备，于是就变成了把残障者作为开发阶段的一个广告一样的角色，就它变成了去包装。有一个国内残障领域的一个行动者说，经常是残障者包装技术而不是技术去服务残障者。因为大量的这种高科技都是没有办法真正应用到市场上的，而往往最好用的那些技术都是现在就有的成熟的技术然后能够以低廉的价格获得的。
吴迪：你说到政府，就是我之前在一个公开的活动上看到过，这个人大家应该也都认识，就是当年千手观音的这个舞者邰丽华，她也是政协委员啊她有很多这种替残障者发声的这么一个渠道。她当时在一个活动上就表达了我们其中的一种理念，我们可以看一下她认为什么样的技术是残障者需要的。
仁慈：好。
邰丽华视频音频片段： 聋人朋友可以通过智能方式获得了更多的信息，视障人士可以随时独自走出家门，办理事务，参与社交，共享美好世界。更进一步的设想，肢残人士能够依靠外骨骼机器人自由行走，活动范围拓展到世界的任何一个角落，精神障碍人士有望通过脑机接口接受精准的治疗，重启健康人生。这是真正意义上的平等，让残障人士融入人群，无差别的生活，而不是让世界包容他们，为他们开辟绿色通道。
[00:42:58]
仁慈：所以我觉得这种所谓的打双引号的“科技助残”其实好像是给非残障者看的，很多时候它其实没有残障者的参与，可能也没有到残障群体里面去真正的做这种市场调研你们需要的是什么，而是一种想当然的非常基于医疗模式的想象，好像更加是一种救世主的形象来出现的，所以我觉得这还是很令我担忧的一个在国内的趋势。
[00:43:29]
吴迪：嗯我觉得也不仅是在国内。但是也不是没有真的想要做一些靠谱的技术的这种技术人员，就我也遇到过很多，他们可能一开始在不了解残障的情况下会有一些救世主的心态，但是时间长了以后包括跟社群接触多以后他们会发现自己对这个他们要解决的问题的理解是完全有偏差的，所以很多人是愿意去调整的。我觉得可能最重要的是技术人员在开发这些技术的时候是否真正尊重残障者自己的专业性，包括是把他们只是当用户还是把他们当专家，我觉得这个态度也有区别，包括多大程度上去感受和理解残障作为一种生活方式，这个技术会出现这个在细节层面。
吴迪：比如说我也是在一个公开的活动上看到有一个做图像识別的一个技术，它现在图像识别技术在大模型的这个框架下已经非常成熟了嘛，它可以把一张图片给你描述的事无巨细，加上很多的这种自己添加的情绪内容。理论上这个这个技术是很有用的，对于视障者来说可能可以在很多场景下使用，但是当我把它当时给的例子我录下来发给残障伙伴，发给视障伙伴听的时候他们的反馈都是这个描述实在是太啰嗦了，就太自以为是了，就是我们根本不需要那么多细节的内容，而且需要的细节又不出现，（两人笑）就有一种我要的你不给我，然后你给我都是没用的。
[00:44:59]
仁慈：这让我想起前两天 GPT 它出了一个 Be My Eyes（做我的眼睛），这个 AI 我有看到那个广告还挺酷的，就是你拿了手机然后里面有 GPT 的软件，然后你打开它的摄像头，然后它就会告诉你周围是什么，看起来挺酷啊，但是就像你说的问题可能就是我要的你不给我，我不要的你啰里啰唆说一堆。
吴迪：对，这个 Be My Eyes 这个好像听说口碑还不错，它们用的底层技术是一样的，但是你得看这个技术具体放在什么场景下用，描述精准只是第一步，只是突破了就是精准这一关。然后你还得看比如说它是不是问答型的，比如说我作为一个用户我问你说这个盒子上写的截止日期、就什么时候这个东西会过期啊，这个日期告诉我，那它就只需要告诉日期，就它相当于是把这个主动权交给了用户，类似这样的设计就很妙。还有是比如说是不是废话太多啊是不是很啰嗦啊，是不是有点喧宾夺主啊，就是加入了……
仁慈：自作多情。
吴迪：自作多情加了很多幻觉。这个我也有一个录音可以给你放。
仁慈：那我们现在就来听一下。
AI 语音片段： 隐藏在华丽建筑的宏伟轮廓中，一辆光芒四射且色彩鲜艳的跑车立即吸引眼球。作为工程设计的杰作，该车在车展上以明亮的色调自豪的闪闪发光。这款保时捷代表着时尚、动感的设计和毋庸置疑的工艺。一个错综复杂的星辉装严的位于周围建筑的结构边界内，增添了宏伟感，凸显了展览的声望。优雅延续到室内装饰，精致的镜子和精致的枝形吊灯自豪的装饰着这个空间。附近有一张桌子，准备进行社交聚会，上面放着一瓶葡萄酒。
[00:46:48]
仁慈：但我觉得就是这种以用户为导向，以使用者为导向，特别是残障者作为这个研究设计的中心和专家的时候，这样的产品往往是更多的能够被残障社群接受和对残障社群来说更加有意义的产品设计。
[00:47:06]
吴迪：是的。包括就是很多残障者自己对技术是有很多独到的理解，因为你每天跟技术打交道嘛。包括你用假肢啊、视障伙伴用读屏软件啊，大家其实都是非常高度的用户，就是对很多技术是有非常专业的理解的，甚至有的时候是比开发者有更多的理解。因为你每天都在跟它相处，这已经是你生活的一部分甚至是身体的一部分。所以这种关系不是说轻易的把这个人跟技术剥离开来这种方式就可以理解到的。
吴迪：我可以再举个例子就是导航这个东西在视障辅具里特别火嘛，就很多辅具的开发者说因为视障者出行很困难都希望帮他们解决这个困难，初衷都是很高尚的，很多他们的解决方案我听过一个离谱的，是让做了一个帽子，帽子前面有个摄像头，而且是个夏天的帽子就是冬天还不能戴。（笑）
仁慈：（笑）为什么冬天不能戴？
吴迪：（笑）因为是个遮阳帽。
仁慈：冬天就没有阳光，不是冬天戴还能保暖呢（笑）。
吴迪：就很离谱，就是设想一下，如果这东西变成你生活的一部分，你每天都得带着一个帽子，这个帽子呢会用摄像头的方式给你找到各种的这个前面的路障啊，再通过某种方式告诉你，反正是一个逻辑上很成立，但是实际操过程中非常非常尴尬的一个辅具。当时我住在一个宿舍里，我室友是视力障碍者，他在测试这个他就说这是个傻帽，他就一直叫这个帽子傻帽（两人笑），因为实在太愚蠢了。
[00:48:49]
仁慈：我在想这些人花这么多时间搞这些花里胡哨的东西，他在这个城市里面把所有的盲道上的障碍给清除了，让盲道发挥它的作用有这么难吗？给每一个红绿灯的那个那个基站放上语音视频：红灯红灯红灯，绿灯绿灯绿灯。有这么难吗？我觉得有时候这个技术把原来的简单的问题反而又复杂化了。
[00:49:13]
吴迪：我觉得你讲的这个其实是个很关键的点，就是为什么不能去搞红绿灯搞盲道，我觉得这也是我在做调研的时候发现的，就是往往有的时候技术是一个规避责任的一个方式。就比如说你要去换一套红绿灯，你得跟交通部门协调，你要跟各种主管单位协调，然后你还要找市里面市政府去协调，就这个东西需要有人的参与的时候就会变得非常的复杂。而且当有官僚制度参与进来的时候一个很简单的变化就会显得非常难。比如说我的这个楼门前要装一个坡道，就很多公司如果要给自己的这个雇员装个坡道，他要去跟物业谈，他要去跟城管谈，他可能还要把市领导都请过来，就是这不是他一个人能解决的。而往往他认为我把一个技术丢给这个残障者，他就能自己解决这些问题就不需要我参与了。还是回到那个便利了谁的问题，它其实是便利了让这些人不需要付出协调的成本，然后不需要去承担他们应该承担的责任，以及不需要去做这些复杂的沟通，所以它有的时候也是省事儿的，只不过省的是某些你看不见的人的事。
[00:50:30]
仁慈：我觉得他们更像是说减少了一种行政和管理的成本。如果我只是丢给你一个傻帽的话，我就不需要去改红绿灯、改盲道。因为有很多人要参与进来我要开 10 个会、20 个会，这些事儿不一定能解决。但如果你戴了一个所谓的双引号的“傻帽”的话，好了，我只需要一个人去给你调试这个傻帽就好了。所以我就觉得很多时候这个技术确实是方便了「我们」。
[00:50:58]
吴迪：但是这个「我们」是谁就是一个我们需要更多去思考的问题。所以呢我也很希望我们的听众朋友在听完这一期播客以后，当一个 AI 产品出来或者在你使用 AI 产品的时候多多去想这个「我们」到底指的是谁，这个「我们」里面到底有没有包括我。
仁慈：好了，谢谢大家。
吴迪：谢谢。
仁慈：谢谢吴迪参与我们的播客。
吴迪：谢谢仁慈，聊得很开心。
仁慈：谢谢你收听这一期的播客。如果你喜欢这一期的关于算法、AI 和歧视的播客的话，就请把它分享给你的家人、朋友和同学，也希望你在任何平台订阅《残言片语》播客。 请给我们五星好评哦~那我们下期见吧~
