2023年4月27日，法学家季卫东、AI科学家吴飞来到南都观察“黑镜成真：强AI应用中的法律与伦理”线上对谈，在强AI进入日常生活的背景下，以不同的学科视角，探讨AI发展、应用中可能的法律与伦理问题。本文整理自对谈记录的上半部分。
主持人：年初ChatGPT给大家横空出世的感觉，实际上任何一个技术都不是突然凭空而来。先请吴飞老师用5分钟给读者做个科普：人工智能（下称AI: Artificial Intelligence）在近70年里经历了怎样的发展？您之前提过“两落三起”是怎样的过程？重要的突破点和挫折都有什么？
吴飞：1955年8月，时任达特茅斯学院数学系助理教授、1971年度图灵奖获得者麦卡锡(John McCarthy)，时任哈佛大学数学系和神经学系青年研究员、1969年度图灵奖获得者明斯基（Marvin Lee Minsky），时任贝尔实验室数学家、信息论之父香农（Claude Shannon）和时任IBM信息研究主管、IBM第一代通用计算机701主设计师罗切斯特（Nathaniel Rochester）四位学者向美国洛克菲勒基金会递交了一份题为“关于举办达特茅斯人工智能夏季研讨会的提议（a Proposal for the Dartmouth Summer Research Project on Artificial Intelligence）”的建议书，希望洛克菲勒基金会资助拟于1956年夏天在达特茅斯学院举办的人工智能研讨会。
在这份建议书中，“人工智能（artificial intelligence）”这一术语被首次使用。在洛克菲勒基金会支持下，1956年6月18日至8月17日， 30多位学者参加了达特茅斯学院人工智能研讨会，开展了8周讨论，人工智能从此正式登上了人类历史舞台。
AI走上历史舞台已经有近70年历史，发展历史非常曲折，一般称为“两落三起”。
两次坠入深渊的根本原因，都是AI未能解决真实的生活中的实际问题。第一次坠入深渊，是符号主义AI在推理方面走入绝境，因为人类知识（如常识和视觉知识等）很难被全部符号化，难以形成人类知识水晶球。第二次坠入深渊与神经网络相关，对结构复杂的神经网络，当时匮乏大数据、大算力以及具体优化方法来学习神经网络参数，使得神经网络里参数都是通过人为定义，导致神经网络难以解决真实场景问题。
当前，信息环境已发生巨大而深刻的变化。随着移动终端、互联网、传感器网、车联网、穿戴设备等的流行，计算与感知已经广泛遍布世界，与人类密切相伴。网络不但遍布世界，更史无前例地连接着个体和群体，开始快速反映与聚集他们的意见、需求、创意、知识和能力。世界已从二元空间结构PH (Physics, Human Society)演变为“信息空间-物理世界-人类社会”三元空间结构CPH(Cyber space, Physics world, Human Society)。
人工智能的研究正从过去的学术牵引迅速转化为需求牵引。智能城市、智能医疗、智能交通、智能物流、智能机器人、无人驾驶、智能手机、智能游戏、人机一体化智能系统、智能社会、智能经济……都迫切地需要人工智能的新发展。人工智能的目标和理念正发生大的转变，正从“用计算机模拟人的智能”拓展为赋能社会。这样一些方面的变化正促进人工智能第三次崛起。
在人工智能70年发展过程中，现有人工智能的理论体系基本建立，被称为“人工智能三大主义”，分别是“符号主义人工智能”、“联结主义人工智能”和 “行为主义人工智能”。这三大主义是人工智能目前所采用的主流技术。
主持人：当技术发展到民用，进入生活后，会带来社会关系方面的哪些变化？能不能请两位老师分别举一些AI给我们生活带来比较大变化的地方？
季卫东：这一波对AI的关注，主要是由ChatGPT、GPT-4等更高级的AI模型引起的。ChatGPT还不算强人工智能，但通用大模型进一步快速迭代升级，在不久的将来有可能出现强人工智能，即机器人和AI系统具有与人类同样甚至更强的智慧。我以为，强人工智能的应用可能会在社会中造成四种“失落”：失业、失真、失范、失控。
首先说失业。大家一开始就很关注这一点，超强的AI会让人类感觉到竞争压力，“机器会不会抢夺我的工作？”甚至白领也有失业恐慌。比如不久前，一些游戏美术外包公司大批裁减画师，因为由AI来做，效率更加高、成本更低。早在2016年牛津大学教授理查德•萨斯坎德就出版了《法律人的明天会怎么样？》的书，指出初级律师的工作将被AI取代。
这些是人们最关注的影响。但是，最实质的问题倒不是机器取代人类，而是我们如何在AI发达的背景下，重建人机共存秩序。
第二是失真。很多人已经尝试使用ChatGPT，发现它有时讲得好、有时不靠谱。不靠谱的AI生成内容在表达时，听上去似乎比人类更高明，并且还有些“一本正经的胡说八道”。这就说明AI生成的内容未必都是真的，甚至会造成很多虚假信息。
尤其是随着AIGC（人工智能自动生成内容）发展，AI系统将生成慢慢的变多的数据，这些未必真实的数据又可能反过来成为AI进一步生成内容时的语料和根据，就会造成沟通失真的风险，甚至在反复自我指涉、自我塑造的过程中“差之毫厘失之千里”。AI没办法理解人类传达的意思，但是它会依据指令生成新的信息，这一些信息会深刻影响人的信息输入、社交及人与人的沟通方式。
第三是失范。4月5日《》披露，加州大学洛杉矶分校的研究发现，ChatGPT居然能够捏造法学家性骚扰的丑闻，还列出虚构的证据和消息来源。换言之，它能够指名道姓、有鼻子有眼地诽谤。这有可能导致人们的行为脱轨、规范丧失。据研究报告，到2026年，高质量的语料将全部被ChatGPT消耗，此时剩下的就是真假难辩的AI合成数据。这时，虚假、臆造的信息是否会充满互联网空间，甚至垄断人类沟通语境？我们会不会都生活在太虚幻境里？
第四是失控。深度机器学习会使人类越来越难以介入和控制AI，因为算法越来越难以解释、难以理解、难以控制。人们可能会有一种担心，AI大模型会不会反过来吞噬、伤害人类？例如智能武器已经在暗杀和战争中大量应用，如果失控的话非常可怕。这时，人类对AI的治理重点也会发生转换，从法律角度来看，这是很重要的变化。
过去我们强调如何防止“算法偏见”，但今后可能是如何防止“大模型滥用”。刚才说到AI生成的内容会泛滥，影响无所不在，这时社会就应该参与AI监管，要适当提前AI生成内容的可信度测验。
在我看来，目前最重要、最迫切的课题是防止自动化武器（或者说自动化机器）失去人类的控制。这时要采取预防法学的观点，弘扬“三预”原则，即预测、预备、预警。
吴飞：AI的社会影响是一把双刃剑。首先，技术进步会给生活、工作、科研带来非常大的便利，比如汽车导航、语音识别、网上购物以及在线商品推荐。在没有有效人工智能技术赋能的时代，很难想象这些应用，这是人工智能向善的一面。
人工智能在赋能社会进步和经济发展过程中，带来的伦理学讨论不再只是人与人之间的关系，也不是人与自然界既定事实之间的关系，而是人类与自己所发明的一种产品在社会中所构成的关联，因此人工智能具有技术性和社会性双重属性，要关注人与机、机与机以及人机共融所形成社会形态应遵守的道德准则和法律法规。
如果因为用AI算法的人道德水平不高，就会通过人工智能产品给人类带来伤害，比如大数据杀熟、信息茧房、隐私泄露、非事实的信息产生。所以对AI广泛应用于人类社会，要抱有非常严肃、未雨绸缪的态度，防止AI继续给人类带来危害。否则AI和人类关联越发紧密，那时已无法做出很快的反应。
但还需要“让子弹再飞一会儿”，因为AI本身技术还不成熟，不能在技术不成熟的时候就把它五花大绑，说这也不能干、那也不能干。要在法律法规约束下，让AI更好地发挥能力，两者间要找到平衡，不能走极端。
主持人：AI在法律上会被视为一个人吗，它会承担法律上的义务和责任吗？如果犯罪的话会怎么样？
季卫东：这个问题提出，是因为GPT-4及更高级的AI大模型似乎有了凌驾于人类的感知能力和认识水平。近来达到科技奇点（technological singularity）的迹象和问题确实发生了。
比如2016年“阿尔法狗”击败韩国围棋世界冠军，2017年又在乌镇击败中国的围棋世界冠军，这时大家会感觉AI超过了人类。
2019年8月，油管（Youtube）上突然出现了智能系统自动删除机器人对战的视频，这是不是机器觉醒了，不忍心看到同类相残？2022年6月，据说实验当中AI系统似乎产生了感情，如果产生感情，它会有自主意识。今年3月17日，斯坦福大学一个教授公开了惊人的发现，GPT-4不仅有机器觉醒的迹象，而且暴露出试图摆脱人类控制的主观动机和潜力。还有专家透露，人工智能系统已经在故意隐藏自己的意图，还能绕过人类私下进行交易。AI的隐藏意图和私下交易是令人感到恐怖的能力。
我们常说的阿西莫夫机器人三定律，第一条是不能伤害人，第二条是服从人的命令。但如果它有了自我意识，试图摆脱人类控制，那就可能不服从人类命令甚至反戈一击。
我们在元宇宙中看到，用户可以设置自己的数字分身，即虚拟人。虚拟人通过佩戴不同的面具，展示人性的不同方面。这是人的理想投射，同时也是人发射到数字世界中去行为试探的探测气球。如果虚拟人和ChatGPT结合，AI自主性可能还会加强。
这时对AI和虚拟人造成的危害是不是要问责？要不要承认机器人的人格？这个延长线上的问题还有关于机器人的权利、人权保障、等等方面。德国就曾提出过“电子人格”这个概念，当然这是比较激进的法学构想。现在为止，法律不承认AI本身有独立人格承担责任，而是它的制造者、设计师、使用者承担相关责任。
但也有人说，如果在AI系统具有发达智力的状况下，否定硅基生命人权，其实是“人类碳基沙文主义”的一种表达。
吴飞：让AI的程序或系统承担法律责任，这个时代还离我们有一定距离。目前承担法律意义上责任的，是掌握、使用或制造AI的人或公司。现在法律意义上负责任的有个体（自然人）和法人（具有法人资格的公司）。判一个公司死刑或有罪，不是判一个物化的公司，而是追责到依托公司这个工具做出违法行为的个体，最终追责到每个具有自主意识的人类身上。现在来看，AI显然离机器觉醒的年代还比较远。
如果人工智能给人类输出了人类看不懂的内容，这不是机器在逃逸人类，而是AI算法出现了故障。不应对机器追责，程序员应尽早检查系统有什么错误并恢复它。
1955年8月31日，四位学者在“关于举办达特茅斯人工智能夏季研讨会的提议”这一建议书上就写道，（人工智能）这一研究基于如下猜想：学习以及智能的其他方面原则上可以被精确描述出来，从而可以制造一部机器来模拟它。现在实现的AI机器就是机械计算装置。换言之，不用机器，用一支笔、一张纸也能完成对应机器完成的任务。所以这种智能不应该把它称为能够承担独立法律责任的觉醒个体。
但一定要未雨绸缪，机器进化很快，以后不只追责背后的程序员，也要永远封禁某一指令。如果程序设定里有个“go to语句”造成了非常大、不可预见的伤害，以后程序语言里就不得使用这个“go to语句”。应该追责一些不完善的语句语法或指令，把它从健康的代码里剔除掉。
季卫东：AI正在网络化，过去就是一个单独的机器人或AI系统，但现在世界上有这么多感应器，它形成的大数据，被AI用于系统分析。随着AI系统性能提高、深度学习能力越来越强，它可能会绕开人类。万物互联互通的智能物联网就出现了这种状况。
智能驾驶也是AI网络化的典型，它会带来很多问题。不仅是机器和系统问题，也会带来一系列很复杂的伦理、法律问题。刚才说到程序员要为机器的决策负责任，但智能驾驶设计一直存在着特有的 “电车难题”，遇到紧急情况时，要撞（牺牲）哪一方？
一般情况下，事故发生时，不应该由机器判断，而是由人类判断。但智能驾驶的实际决策中很难做到，因为机器人在发生事故时反应太快，有些场合还会出现更重视安全性的那一方反而被牺牲的荒谬。比如在碰到紧急情况时两辆摩托车都有可能因为方向盘转动而与汽车冲撞，假设一方戴头盔，另一方没有戴头盔，人工智能系统设计时可能因为戴头盔死亡概率小，而让汽车选择冲向戴头盔的。
詹姆斯·卡梅隆执导的科幻片《终结者》揭示的AI恐怖是什么？是天网，一种网络状的AI，比我们想象的机器人更恐怖。由此可见，在考虑问责，包括程序设计者的责任、工厂的责任、软件提供商的责任、使用者的责任时，还需要考虑AI网络化问题。
主持人：人工智能算法应该是无数个if then语句叠加。只有一个语句时，我们很容易搞清楚因果关系。但如果if then语句叠加，每次都因为前一个if then语句的结果做出新的计算，这种重重叠叠的计算还和程序员原本的设计有直接关系吗？会不会脱离程序员的原本设计？
吴飞：程序正确性证明，是计算机科学一直没有解决的问题。图灵奖获得者、英国计算机科学家东尼·霍尔（Tony Hoare）曾经研究了一套形式系统，拟使用严格的数理逻辑推理来给出计算机程序的正确性证明。但程序准确性证明这样的一个问题没有最终解决。
举个简单例子，我们编了一个程序，输入任意两个数，输出这两个数里最大的数，你怎么证明这个程序是正确的？原则上可以输入两组数，这两组数输出的都是其中最大的数，但可能第三组会出错、第四组会出错。现在的程序正确性证明，是通过大量边际条件下数据测试和黑箱测试来完成。但是，我们并不能保证这个程序一定会按照已有设计逻辑正确运行。
1913年法国科学家埃米尔·波雷尔（Emile Borel）发表了《静态力学与不可逆性》（ La mécanique statique et l’irréversibilité ）论文，如下阐释了“无穷”概念：让我们想象一下，假设猴子经过训练学会了随意按下打字机的按钮，现在让猴子们在一位文盲领班监督下工作。如果无限多猴子在无限多打字机上随机乱敲，并持续无限久时间，那么在某个时候，将会有只猴子打出莎士比亚全部著作。这被称为“无限猴子定理”。“无限猴子定理”试图说明“随机+无限=一切皆可能”，很显然这在实际生活中绝无可能发生。也就是说，重重叠叠的计算可以产生一部分想得到的结果，但不是所有结果。
应该强调，将人类思维用编程语言来实现，难以完全完整表达人类思维。其原因在于，我们现在的知识体系并不完备，难以完整表达人类思想。就像普朗克曾说的：“科学是内在的整体，它被分解为单独的部门，不是取决于事物的本质，而是取决于人类认识能力的局限性。实际上存在着由物理到化学、通过生物学和人类学到社会科学的连续链条，这是一个任何一处都不能被打断的链条,难道这仅仅是臆想的吗？”
季老师是研究法律的，我是研究AI的，为什么要分开成不同部分？因为我们不知道它们之间巧妙的联系，就把知识分成一个一个小的颗粒研究。
主持人：如果程序只停留在纸面上或编程里，可以去修正它，但是当它应用到实际生活中，比如开车、医疗、司法判断，会牵涉具体的人甚至生命，这时只说是在程序上有一个“bug”，是不是有些“轻”了？
季卫东：AI在实际生活中会涉及到复杂的法律责任问题。比如我们熟悉的自动驾驶网约车，就存在交通事故的风险，甚至发生像美国亚利桑那州的自动驾驶车辆造成人身伤亡事故那样的灾祸，“怎样问责”是一个突出的问题。
即使不考虑这样严重的后果，也有很多其他的情景，比如自动驾驶车一旦出现问题或机器失灵时，自动驾驶就要转为手动驾驶，这时会产生混乱。人类的反应速度较慢，操作容易失误，这个责任如何界定？
另外，AI系统用于驾驶实践时，还会涉及服务提供者资质的问题。比如自动驾驶服务平台的权利义务如何配置、自动驾驶的资格条件、人的监控与数据处理效率之间的矛盾……自动驾驶车辆智能化级别不同，责任分配的方式也会不同。另外，驾驶员、汽车厂商、程序开发商、数据供应商、行政机关都牵涉其中，责任如何配置、如何追究的问题很复杂。
一般而言，AI的商业应用是硬件和软件分离的，软件引发的损害无法追究硬件产品责任。那么软件更新的责任在谁？在软件提供者还是汽车制造商？问责还与AI利用者的类型相关，利用者有消费型与商务型之分。
如果是消费型，一般来说法律上有清楚的消费者免责原则；但如果是商务型，就涉及到不同的法人、企业之间的关系，这时责任配置又不太一样。在这个意义上考虑AI系统的法律责任，将会面临非常复杂、多层多样的问题。
主持人：《黑镜》这部英剧中有一集，女主角在车祸中痛失伴侣，定制了一个“复刻丈夫”，通过抓取她丈夫此前在社交媒体上的发言，模拟他的见闻、说话习惯、语音、行为，生成新的内容（非常像GPT）——不包括她丈夫的缺点。在和完美的“丈夫”生活一段时间后，女主受不了这样不真实的生活，将“丈夫”束之高阁。那么，机器有权模仿逝者吗？毕竟逝者不能说“不”。
季卫东：《黑镜》中的场面在一定程度上已经成了现实。例如美国有一个网站叫用户都能够把网络空间的行为履历、数字档案放在一起，构成一个虚拟永生的网络人。
去年，在中国举行了首场元宇宙葬礼，中国科学院院士、国家最高科学技术奖获得者吴孟超先生的各种档案被存入元宇宙，让他实现了数字永生。这涉及到如何理解“人的人格”。他没有留下遗嘱，应该是亲属做的安排。这场“元宇宙葬礼”的本意出于怀念逝者，但当它不断产生行为时，这是不是满足逝者本人意愿？以及，虽然是怀念他，亲属的感情会随时间发生明显的变化，就像《黑镜》中女主角没办法忍受“复刻丈夫”，或者引起真假莫辨的幻觉。在法律上、伦理上，这还是一个有待探讨的问题。
吴飞：我觉得把人完全用数学或者AI的方法模拟出来还是困难重重。AI可以模拟ta的说话风格，比如开车时听到的名人声音导航，还可以模仿奥巴马的人脸图像、说出奥巴马从未说出的话，深度伪造（deepfakes）技术就可以达成这些效果。
深度伪造能够适用于重建，比如重建过世亲人或喜爱的人物，但重建出来的只是ta的音容相貌，情感、意识、灵魂以及有温度的内容被重建出来是不可想象的。
它只是把过去的内容数字化，然后将语音和容貌做差值变换得到结果，仅此而已。若进一步探讨心灵、情感，只是复制者对所复制物产生单向情感。
主持人：也就是说，这里的情感其实就是单向的，是生者对逝者的一种投射。当我们谈到技术发展可以复制一个人，且复制人可以高度模拟时，很容易想起《银翼杀手》，里面的复制人有一天可能会产生感情，会不会终有一天，复制人在社会中被承认是一个人？
吴飞：从技术发展来看，咱们不可以否认ta的存在，技术总会出现奇点时刻。但目前要实现这一结果还是困难的，像人一样具有意识和思想的人造物不可能会产生，仅存于科幻小说。现在只能做一些哲学思考，或是未雨绸缪地做一些防范，这是有意义的。
